人类计算机交互中交互分析的录音探索性可视化分析

研究背景与问题

• 发现的问题或挑战:
  • 会话分析 (CA) 和交互分析 (IA) 中的研究者通常使用文本记录的方式分析参与者与技术的多模态交互，但现有方法主要依赖静态、基于文本的转录内容，这难以捕捉实时交互中的细微、动态和多模态的社会行为。
  • 大量CA和IA研究强调缺乏动态、实时的转录数据可视化工具，尤其是缺乏能够体现交互复杂性（如轮流发言模式、重叠谈话、社会动态等）的支持。
• 重要性:
  • 转录可视化能够更好地帮助研究者理解人与技术之间在交互中复杂的社会情境，以及分析对话的语言和非语言行为的关系，这对研究、教学设计、人机交互设计等领域具有重要价值。
• 研究动机:
  • 现有的质性分析工具（如NVivo、Atlas.ti和ELAN）在探索对话的时序结构、参与者贡献、实时动态等方面存在功能缺失。
  • 自动生成的AI转录内容虽然已被广泛使用，但其质量和适配性仍待提升，尤其在CA和IA领域中仍需要对其进行细化分析。
  • 作者希望通过开发新的可视化方法，促进更动态和开放的转录数据探索，从而有效支持CA和IA研究方法。

解决方案

• 提出的解决方案:
  • 开发了一个开放源代码的可视化系统——Transcript Explorer，集成了三种新型可视化技术（Distribution Diagrams、Turn Charts 和 Contribution Clouds），能够动态地可视化与视频相关联的文本转录数据。
  • 探索如何利用这些技术支持交互式地查看、分析和探索对话和多模态交互行为。
• 创新之处:
  • 提出了“探索性转录可视化分析 (EVAT)”概念，为HCI中的CA和IA研究者提供了交互式工具。
  • 提出的技术不仅支持对对话的字词频率分析，还能嵌入时间和情境维度，重新连接文本与视频，为研究者提供动态的交互体验。
• 实施步骤与关键技术:
  1. 四个设计目标:
     • 表征对话公平性 (Conversational Parity)：识别参与者何时、多久以及参与程度。
     • 分析言谈与互动的时序结构：研究发言顺序、流转、重叠以及话题发展。
     • 追踪概念的贡献演变：观察概念如何随对话进行被引入、复用和稳定化。
     • 表征多模态性：结合视频探索非语言行为（如手势、注意力）和对话的关联。
  2. 三个技术应用:
     • Distribution Diagrams: 图形化展示每位发言者的词汇总量和发言次数，支持轮流发言模式分析。
     • Turn Charts: 使用椭圆表示对话的开始与结束点、高度表示发言字数，强调顺序性和轮流发言中的层次结构。
     • Contribution Clouds: 类似词云，整合时序信息，显示词汇的重复性及其上下文对对话主题的贡献。
  3. 交互特性:
     • 包括筛选、动画播放、Hover高亮、点击跳转视频等功能，使研究者能够快速过滤并查看关键对话部分。
  4. 实现方法:
     • 该系统使用JavaScript语言开发，兼容简单文本文件和更复杂的结构化转录数据（如包含时间戳的CSV文件）。

研究成果

• 具体成果:
  1. 开发了开放源码的Transcript Explorer系统，提供了多种对话可视化视图支持。
  2. 在研究案例中展示了系统在不同领域（如科学课堂教学和总统辩论）中的应用灵活性。
  3. 提出了通过可视化工具早期发现转录数据不足的新机会（如AI转录敏感性分析与质量改进）。
• 与现有解决方案的比较优势:
  1. 能直观地体现对话的参与模式、语言流转、多模态行为等内容，是静态文本转录所无法支持的。
  2. 提供了交互式工具，研究者可在宏观和微观层次间灵活切换，适应不同研究需求。
  3. 支持实时视频分析，使研究者能够动态探索非语言和物理交互行为。
• 实验或评估结果:
  1. 通过焦点小组访谈发现参与者对新技术的接受度较高：
     • Distribution Diagrams突出显示了轮流发言公平性和对话分布等重要特性。
     • Turn Charts被称为“可视化的艺术”，帮助研究者发现对话的节奏感和参与模式。
     • Contribution Clouds支持追踪概念流变，加深对对话主题发展的洞察。
  2. 参与者提出进一步扩展和改良的建议，包括支持非语言数据的更深入集成。
• 局限性与未来方向:
  • 系统当前过于依赖描述性转录的质量和准确性，自动转录生成的错误可能影响分析效果。
  • 可视化图表虽然精简了对话的分析过程，但可能无法完全保留对复杂现象的上下文信息。
  • 未来方向包括：
    • 将非语言行为数据（如手势和空间关系）更多地整合到可视化系统中。
    • 开展更正式的用户测试和跨学科扩展。
    • 探讨数据隐私伦理，确保系统在动态记录人际互动时的合规性和正当性。