Winder：将语音和视觉对象关联起来以支持异步协作中的沟通

文献标题

Winder: Linking Speech and Visual Objects to Support Communication in Asynchronous Collaboration

文献信息

• 主题领域: 异步协作中的多模态沟通工具设计与评估
• 关键词: 异步协作, 团队合作, 语音交互, 多模态输入, 可视化文档, 用户界面设计, 信息导航

研究背景与问题

• 提出问题:

  • 异步协作的团队在共享可视化文档（如UI设计或演示文稿）时，经常由于沟通延迟或沟通负担（例如文本输入高物理和认知成本、对视觉对象的模糊引用等）而导致协作中的理解偏差。
  • 团队成员可能不及时回复或者错过重要信息，同时基于文本的沟通模式无法充分涵盖多模态交互的需求。

• 重要性:

  • 高效沟通在建立共享理解和提升团队生产力中尤为重要，尤其对学生团队而言，这可以帮助他们学习协作技术，并避免沟通崩溃。
  • 文献指出，异步沟通中的信息延迟可能损害生产力，甚至影响社会认知（如成员的信任感）。

• 研究动机:

  • 异步协作需要比面对面（F2F）交互更轻量化的沟通，同时又能充分表达意图并避免误解。
  • 当前的工具（如Google Docs评论功能）难以减轻这一负担，需要一种能高效整合语音和对象引用的工具解决此问题。

解决方案

• 提出方法与工具:

  • Winder是一个基于Figma的插件，用于支持异步协作中的多模态沟通。其核心功能是“linked tapes”（链接录音），集成语音和点击操作。
  • 工具通过双向链接，将文档中的可视对象与语音录音片段映射，使用户能够通过交互式方式快速理解上下文。

• 创新之处:

  1. 双向链接: 将文档对象与语音片段建立连接。用户可以通过点击对象来过滤相关录音，或通过语音播放高亮显示具体涉及的文档对象。
  2. 预先录音功能: 用户在当前工作中记录未来可能需要的信息，从而缓解异步沟通中的延迟问题。
  3. 多模态支持: 通过语音评论和点击操作，既支持快速表达，又支持明确的对象引用。

• 实现步骤和关键技术:

  1. Linked Tapes 的创建: 用户实时记录音频，同时在设计文档上点击相关对象（对象被高亮标注）。
  2. 增强理解与导航功能:
     • （a）语音播放时自动高亮对象；
     • （b）语音转录中嵌入点击对象缩略图；
     • （c）基于对象的录音搜索。
  3. 技术支撑:
     • 使用Figma API获取对象缩略图；
     • Google Cloud Speech-to-Text服务进行语音转录；
     • 前端基于TypeScript、ReactJS，后端基于Node.js、MongoDB。

研究成果

• 取得的成果:

  • 用户在生成linked tapes时负担更低，其交互过程类似于F2F沟通。
  • 通过双向链接提高了沟通内容（对象和语音信息）的精确性，并减少了重复工作。
  • 参与者平均录制了13.13个tape，测试显示平均长度为53.27秒，长度控制在用户可接受范围内。

• 与现有方案的比较:

  • 与传统基于文本的异步沟通工具相比，Winder能更精确地传达意图和上下文。
  • ITS功能（如对象高亮、搜索、缩略图）的加入使Winder不仅减轻了发送者的负担，也减轻了接收者的负担。

• 实验或评估结果:

  • 定量分析: 107个tape录制中，83.8%用于描述，46.6%用于解释设计动机，40%用于任务协调。
  • 用户反馈:
    • 点击和语音输入均简化了交互过程，语音比打字更容易，但仍然存在发音或清晰表达的压力。
    • Object-based search 功能提升了信息查找效率，并有助于避免团队冲突。
  • 社会效应: 预先录音增强了团队成员间的信任感、动机和信心。

• 局限性与未来方向:

  • 局限性:
    1. 研究中团队规模固定（3人），可能限制了广泛场景中的适用性。
    2. 参与者为非专业UI设计者，实际工作环境中的表现可能不同。
  • 未来方向:
    1. 探索更灵活的触发机制代替固定10分钟提示；
    2. 自动生成更高级别的反思录音指导；
    3. 拓展至其他场景（如演示文稿或视频讨论）。