它使模型栩栩如生：探索多模式I3Ms对盲人或低视力人群的身体化

研究背景与问题

问题与挑战

• 作者发现，盲人或弱视人士通常无法获得与视觉相关的教育内容和导航地图的无障碍访问。
• 传统触觉图形和标签（例如盲文）在空间大小和内容量上存在限制，影响了对信息的理解和实用性。
• 尽管 3D 打印模型（特别是添加了音频标签的交互式 3D 打印模型 I3Ms）可以弥补部分不足，但传统的音频标签提供的信息是预设且有限的。
• 现有研究表明，为机器赋予人类行为（即“赋能化”）可以使它们更具生动性和社会存在感，从而提升用户的参与度和信任，但几乎所有研究都集中于视力正常的人群，对盲人用户的影响研究缺失。

重要性

• 为盲人或弱视人士设计互动的、赋能的 3D 打印模型可以通过提供生动和个性化的学习体验，帮助他们更好地理解复杂的概念。
• 在教育和博物馆环境中，这种设计可以显著提高这些模型的使用率和用户体验。

研究动机与相关工作

• 随着智能代理和多模态技术（包括震动反馈、语音对话）的进步，作者认为赋能化的 I3M 可能增进盲人用户的参与度和信任。
• 研究动机在于探讨是否可以通过设计方法使 I3Ms 具备更高的生动性和社会存在，同时鼓励盲人用户更深入地与这些模型交互。

解决方案

方法与设计

• 作者提出了一组赋能化设计因素（包括触觉反馈、个性化语音等），并设计两种具备多模态互动功能的 3D 打印模型：埃及金字塔和土星五号火箭。
• I3Ms 被配置为两种状态：
  • 高赋能模式（HEM）：包含更多赋能化设计，如个性化语音、震动反馈、第一人称叙事等。
  • 低赋能模式（LEM）：设计更加简单，未采用赋能化增强。

创新点

• 从非视觉角度实现赋能化：摆脱对视觉化赋能的依赖，专注于对盲人用户来说更具意义的触觉反馈、本地语音等。
• 将多模态技术（例如触觉互动、语音对话系统）与赋能化设计结合，拓展了 I3Ms 的应用场景，增强了人工代理和用户的学习体验。

实施步骤与关键技术

1. 模型实现：
   • 通过 Raspberry Pi 和低成本电子元件实现模型与组件之间的互动功能。
   • 使用 Google Cloud Speech API 提供语音输入输出，并整合 ChatGPT 进行外部搜索。
2. 赋能设计因素：
   • 掌握设计中的关键五点赋能化因素，如触觉反馈、第一人称叙述等。
   • 持续优化用户的非视觉化交互体验，例如通过嵌入本地音频和震动技术增强模型的“存在感”。
3. 实验设计：
   • 实验采用控制研究，共 12 位盲人参与，通过量化问卷调查（例如 Godspeed Questionnaire, User Engagement Scale）和用户主观反馈来评估模型在生动性、参与度和信任方面的表现。

研究成果

具体成果

• 实验证明高赋能化模式（HEM）的 I3Ms 更被参与者认为具有生动性和社会存在感，显著提升了用户参与度。
• HEM 模型与 LEM 模型相比，交互时间更长且生成更多的交互行为，表现出对高赋能化设计的用户偏好。

优势

• HEM 模式有效增强了参与者在使用 I3Ms 时的沉浸感和积极性，支持作者关于赋能化设计的假设（H#1 和 H#2）。
• 在教育场景中，赋能化 I3Ms 为盲人用户提供了更具吸引力的学习体验，通过使用多模态技术帮助内容更高效地传递。

局限性与未来方向

• 局限性：

  • 对模型信任度的结果较为模糊，参与者在评估信任时更多关注输出信息的准确性，而非交互行为。
  • 小样本量（12 名参加者）限制了结果的普适性，实验需进一步扩大规模以确认发现。
  • 部分赋能化因素（如小对话）在实验中使用较少，未完全展示其潜力。

• 未来方向：

  • 探索更多赋能化设计因子的实现方式，例如模型的纹理、尺寸以及嵌入式扬声器。
  • 扩展研究到实际应用场景，如学校或博物馆的长期部署，以观察用户行为和模型接受度的长期变化。
  • 仿真更高程度的模型个性化功能，让用户能够根据个性化需求调整赋能参数。
  • 考虑结合生成式 AI 来进一步增强 I3Ms 的互动能力，以提供更丰富且自然的体验。

通过上述成果与局限的剖析，为未来的赋能化 I3Ms 设计提供了明确的方向，同时扩展了与盲人用户进行互动式设计的研究领域。