PointAloud：AI支持的指针中心发声计算交互套件

文献标题

PointAloud: An Interaction Suite for AI-Supported Pointer-Centric Think-Aloud Computing

出版信息

• 主题领域: 用于实时口述和设计过程记录的人工智能驱动工具，应用于创意工作流。
• 关键词: 口述计算、指针为中心的交互、人工智能辅助设计、过程记录、人机协作创造、CAD工具、实时反馈、建筑设计、工作流捕获、多模态交互。

背景与问题

• 问题/挑战: 现有的口述计算系统面临诸多挑战，例如用户对捕获内容缺乏意识、缺乏鼓励用户表达想法的机制、系统反馈过于干扰或不够明显，以及用户口述努力的实际收益有限。
• 重要性: 在设计任务中捕获用户的口述推理可以支持反思、保存设计逻辑、促进协作，并提供更适应性强的人工智能辅助。
• 动机与相关研究: 先前的研究探索了口述计算、指针为中心的显示以及上下文感知系统，但在整合这些方法以提供低干扰、上下文丰富的记录和人工智能支持设计工作流方面仍存在空白。

解决方案

• 提出的方法: PointAloud，一套人工智能驱动的指针为中心交互系统，用于实时鼓励口述、提供低干扰反馈以及上下文丰富的过程记录。
• 创新点:
  1. 引入指针为中心的交互技术（例如TalkPointer、TalkNotes、TalkExplorer）。
  2. 将实时转录与设计过程记录的空间和语义上下文相结合。
  3. 提供主动、上下文感知的人工智能建议（例如TalkTips、TalkReminders），支持人机协作创造。
  4. 在建筑设计的CAD系统中应用，实现二维/三维注释和反思。
• 流程与关键技术:
  • TalkPointer在光标附近提供实时、低干扰反馈。
  • TalkNotes捕获口述想法，将其与空间上下文链接，并生成摘要和行动建议。
  • TalkExplorer将TalkNotes组织成主题集群，便于检索和反思。
  • TalkTips和TalkReminders提供主动提示并重新呈现相关的先前笔记。
  • 实现包括实时转录（Deepgram Nova-3）和大语言模型（GPT-4o, Gemini 2.5 Pro）用于语义处理和上下文化。

结果

• 具体发现:
  • PointAloud提升了过程意识（MD = 1.25, p = 0.007）、任务支持（MD = 1.08, p = 0.01）以及系统建议的相关性（MD = 1.83, p = 0.007）。
  • 参与者认为TalkNotes有助于外化和结构化瞬间的想法，并将其与空间上下文链接。
  • 在每分钟单词数（WPM）方面，PointAloud与基线转录系统之间无显著差异（p = 0.81）。
• 相较基线的优势:
  • PointAloud在记忆辅助（MD = 1.50, p = 0.007）、摘要生成（MD = 1.25, p = 0.011）以及问题识别（MD = 1.08, p = 0.018）方面优于基线文本转录。
  • 与基线相比，参与者更积极地与捕获的笔记和系统建议互动。
• 实验/评估:
  • 一项包含12名参与者（年龄23–49岁，M = 30.8, SD = 6.7）的被试内用户研究，参与者来自建筑和室内设计背景。
  • 任务包括使用PointAloud和基线转录系统进行二维平面图注释和三维模型审查。
  • 收集的数据包括交互日志、问卷调查以及访谈的主题分析。
• 局限性与未来工作:
  • 样本量较小且集中于建筑设计领域，限制了结果的普适性。
  • 指针注意力对齐和TalkReminders的细微性存在挑战。
  • 未来工作可以探索长期采用、标签定制化以及在写作或数据分析等其他领域的应用。

总结

PointAloud引入了一套创新的指针为中心、人工智能支持的口述计算交互系统，能够实现实时口述、过程记录以及人机协作创造。与基线转录系统相比，该系统显著提升了过程意识、任务支持和记忆回忆能力。参与者对TalkNotes和TalkTips等功能在外化和结构化推理方面的价值给予了高度评价，但也指出了指针注意力对齐和主动提示的挑战。尽管研究重点在建筑设计领域，PointAloud提供了可转移的设计模式，可应用于其他创意和知识工作领域。未来研究应探索更广泛的应用、长期采用以及增强用户定制化功能。