走在实地研究之前：探索VLM人格作为HCI身体化研究的辅助工具

文献标题

Peeking Ahead of the Field Study: Exploring VLM Personas as Support Tools for Embodied Studies in HCI

出版信息

• 主题领域: 将视觉-语言模型（Vision-Language Models, VLMs）作为人类参与者的代理，用于实地研究，特别是在人机交互（HCI）领域。
• 关键词: 视觉-语言模型，实地研究，自动驾驶汽车，行人交互，人机交互研究，电子人机界面（eHMI），模拟，具身交互，AI人物角色，行为模仿。

背景与问题

• 问题/挑战: 实地研究对于理解现实环境中的人类行为至关重要，但其成本高昂、耗时且容易出错。目前的替代方案，如混合现实和人工智能代理，无法完全复制自然的人类反应或提供可靠的行为多样性。
• 重要性: 在保持生态有效性的同时，降低实地研究的成本、时间和风险，将显著推动HCI研究及其应用，例如自动驾驶汽车（AV）与行人交互。
• 动机与相关工作: 之前的研究探索了AI人物角色和混合现实用于模拟人类行为，但这些方法缺乏与真实人类反应的验证。本研究通过系统比较VLM人物角色与人类参与者在高保真AV-行人交互任务中的表现，填补了这一空白。

解决方案

• 提出的方法: 使用视觉-语言模型（VLM）人物角色模拟实地研究中的类人反应，重点关注AV-行人交互。
• 创新点:
  1. 引入VLM人物角色以模拟复杂的人类行为和空间感知能力，用于具身任务。
  2. 在受控的AV-行人交互场景中，开展了对比真实人类参与者与VLM人物角色的平行实验。
  3. 提供了在HCI研究中使用VLM人物角色的指导方针，强调其优势和局限性。
  4. 探索了VLM人物角色在AV-行人任务之外的具身交互领域的广泛应用。
• 研究流程与关键技术:
  1. 开展两项平行研究：一项包含20名人类参与者的实地研究，以及一项包含20个VLM人物角色的视频研究。
  2. 开发基于问卷的协议，用于构建模拟人类参与者的VLM人物角色。
  3. 设计了一个视频模拟器，利用离散化的时空网格来复制真实场景供VLM人物角色使用。
  4. 使用诸如过街时间、主观信任度和轨迹特征等指标，比较人类与VLM的行为和主观数据。
  5. 采访了五位HCI研究人员，评估VLM人物角色在研究工作流程中的适用性。

结果

• 具体发现:
  • 人类（5.07秒，SD=1.67）与VLM人物角色（5.25秒，SD=0.72）的过街时间相似，无显著差异（p=0.8465）。
  • VLM人物角色的行为变异性较人类更低。
  • 主观信任评分相近（人类：3.03，VLM：2.97），但VLM的信心评分较高（VLM：4.53 vs 人类：3.50）。
  • VLM能够捕捉共识层面的推理，但无法反映少数观点和细微的解释。
• 相较基线的优势:
  • VLM人物角色有效地模拟了平均人类行为和主观感知，为探索性和试点研究提供了低成本替代方案。
  • 它们减少了实地研究准备的需求，同时与人类数据保持一致。
• 实验/评估:
  • 采用三步流程：实地研究、基于VLM的视频模拟以及专家访谈。
  • 指标包括过街时间、主观信任/信心、轨迹特征以及开放性回答的主题分析。
  • 实验条件包括三种电子人机界面（eHMI）类型（光条、动画眼睛、无eHMI）和两种AV行为（停车、不停车）。
• 局限性与未来工作:
  • VLM人物角色缺乏行为变异性，无法捕捉少数观点。
  • 当前的VLM缺乏双目视觉和深度感知能力，限制了其空间推理能力。
  • 未来工作应探索多模态输入（如音频、触觉）并验证VLM在更广泛的具身交互领域中的应用。

总结

本研究展示了视觉-语言模型（VLM）人物角色在实地研究中模拟人类行为的潜力，特别是在AV-行人交互场景中。通过比较VLM人物角色与真实人类参与者，研究发现VLM能够模拟平均人类反应，但缺乏变异性和深度。研究提出了三项指导方针，用于在HCI研究中使用VLM人物角色，强调其适用于探索性和试点研究，同时警告不要过度依赖以获取细致洞察。对HCI研究人员的访谈突出了一些潜在应用，如形成性研究、大规模模拟以及涉及代表性不足群体的研究。未来工作应解决技术局限性，并探索其在具身交互中的广泛应用。