探索大型语言模型中的移动触摸交互

研究背景与问题

• 作者发现的问题或挑战：目前，用户在移动设备上使用大型语言模型 (LLMs) 提供的文本编辑功能，通常需要切出文本写作环境，切换到对话式的 AI 界面（如 ChatGPT 应用）。这种方法对于空间有限的移动设备（如智能手机）显得笨拙，因为用户在完成文本编辑任务时需要在应用程序间切换，进而降低了生产力。

• 为什么这个问题很重要：随着 LLMs 被广泛用于文本生成和编辑功能，目前的交互方式需要优化以适配更便携的小屏设备，还需避免上下文切换的低效性。此外，直接操控生成式 AI 的潜力尚未完全发掘，尤其是在移动交互场景中。

• 研究动机与相关工作：

  1. 现有研究和技术（如微软的 Copilot）主要整合文本编辑器与对话式界面，但这些解决方案在手机等屏幕空间有限的设备上效果不佳。
  2. 最近的探索（如 DirectGPT）提出了基于鼠标与键盘的直接操控 LLM 的交互方案，但这些方案针对的是桌面设备，与移动设备上的触控交互性质不同。
  3. 尚未有研究专门针对移动触控环境设计持续的、直观的手势互动模式以操控 LLMs。

作者因此提出探索移动设备上基于触控手势与 LLM 的直接交互设计。

解决方案

• 提出的解决方案：

  1. 构建专门针对移动设备 LLM 交互的设计空间，涵盖输入方式、交互类型、文本处理方式和输出表现等维度。
  2. 设计并原型化了两种触控手势与 LLM 的操控映射：
     • “展开生成”手势（spread-to-generate）：通过双指外展生成文本。
     • “收缩删除”手势（pinch-to-shorten）：通过双指收缩删除文本。
  3. 借助视觉反馈设计，提出“单词气泡”（word bubbles）的概念以增强交互体验，实时反映生成文本的长度与进度。

• 解决方案的创新之处：

  1. 持续的控制环路：打破了传统对话式交互的“回合式”模式，实现了用户手势动作与系统生成文本的实时映射。
  2. 视觉反馈管理：“单词气泡”的设计缓解了 LLM 不规则延迟的问题，同时清楚地向用户展示生成文字的长度，使得生成过程更直观。
  3. 语言模型功能的新触控映射：赋予传统手势更多语义功能，如外展手势代表生成文本长度的控制，而非常规的几何变换（如放大/缩小图像）。

• 实施步骤和关键技术：

  1. 设计空间框架：通过团队头脑风暴和亲和图法整理触控交互设计维度。
  2. 原型与迭代开发：
     • 初始原型只支持简单的文本生成，后期在用户反馈基础上引入了“单词气泡”反馈机制、更精细的句子选择和增删功能。
  3. 评估设计方案：在用户研究的基础上，进一步完善触控手势映射与视觉展现，包括通过实验验证方案的可行性与用户体验改进。

研究成果

• 具体成果：

  1. 设计成果：
     • 提出了一个全面的设计空间框架，帮助结构化地探索触控手势与 LLM 的交互设计。
     • 实现了一个功能原型，支持两种新型手势（展开生成和收缩删除）。
  2. 实验验证：
     • 实验 1 比较了三种反馈设计（无反馈、线条指示和单词气泡），验证了单词气泡的有效性。
     • 实验 2 显示，基于手势的直接交互在效率和用户满意度上显著优于传统对话式界面（如 ChatGPT）。

• 与现有解决方案的比较优势：

  1. 基于手势的交互比对话式界面更高效（平均任务时间缩短 58%）。
  2. 用户在使用手势时有更强的控制感（主观控制评分显著更高）。
  3. “单词气泡”凭借明确的视觉反馈和实时动态显示，使得系统更直观，用户完成任务的错误率和认知负担显著降低。

• 实验或评估结果：

  • 在用户体验指标（Usability SUS）方面，“单词气泡”得分为 85.54（优秀）。
  • 在任务时间方面，使用“单词气泡”显著快于无反馈和线条指示条件。
  • 在与 ChatGPT 的比较中，基于手势的系统在任务完成速度和主观任务负荷（NASA-TLX 分数）方面表现更佳。

• 局限性与未来方向：

  1. 局限性：
     • 研究样本规模较小（14 名参与者），且实验在受控环境下进行，不能完全代表现实场景。
     • 原型系统仅测试了两种手势，未整合更多复杂功能或其他应用场景。
  2. 未来方向：
     • 扩展设计空间，探索新型手势（如旋转调音、滑动重组）以及其他交互媒介（如设备摇晃或倾斜）。
     • 针对更广泛的用户群体和更复杂的任务需求进行实验。
     • 将设计原型整合到现有移动平台应用中，测试真实情境下的有效性与用户接受度。

综上，作者的研究在探索移动触控与 LLM 交互领域具有重要创新意义，为未来的 AI 交互设计提供了重要指导和灵感。