利用多模态振动触觉表征增强图像：触、感、听

文献标题

Augmenting Imagery with Multimodal Vibrotactile Representations: Touch, Feel, and Hear

出版信息

• 研究领域: 为盲人或视障用户提供可访问性和多模态触觉反馈。
• 关键词: 振动触觉反馈、材料感知、盲人用户、可访问性、触觉反馈、AI生成模式、感官替代、触觉图形、多模态交互、图像可访问性。

背景与问题

• 问题/挑战: 数字图像对盲人或视障（BVI）用户不可访问，因为替代文本和现有的可访问性工具无法传达触觉和听觉的材料属性。
• 重要性: 材料特性如纹理、硬度和重量对于情境理解至关重要，但现有工具主要关注空间和结构方面，忽略了材料感知的需求。
• 动机与相关研究: 以往关于感官替代和触觉的研究探索了导航和物体识别的触觉与听觉反馈，但未解决图像中材料属性的呈现问题。现有触觉数据库和基于AI的振动触觉反馈方法尚未在这一背景下对BVI用户进行系统评估。

解决方案

• 提出的方法: 使用多局部振动触觉平板和四种模式生成方法增强数字图像的振动触觉材料表示，包括：基于AI提示的合成、音频到模式转换、真实材料录音以及公共触觉数据库。
• 创新点:
  1. 引入振动触觉材料反馈以提高图像可访问性。
  2. 系统比较四种模式生成管道在材料感知方面的效果。
  3. 与BVI参与者进行实证评估，结合定性和定量洞察。
  4. 提出材料特定振动触觉反馈的初步设计指南。
• 流程与关键技术:
  1. 开发了四种模式生成方法：
     • AP1：使用一次学习的AI生成模式。
     • AP2：AI生成音频转换为振动触觉模式。
     • AP3：真实材料录音转换为振动触觉信号。
     • AP4：来自公共触觉数据库的模式。
  2. 使用定制的振动触觉平板（配备16个压电执行器）提供局部反馈。
  3. 进行用户研究，邀请8名BVI参与者对10种材料的模式进行排名并提供“边想边说”反馈。

结果

• 具体发现:
  • Real_Recording（AP3）在材料中获得最高中位排名（3/4），其次是HDB（AP4，中位数2.3/4）。
  • AI生成模式（AP1和AP2）表现与HDB相当，在某些材料上具有特定优势（例如，LLM_One-Shot在陶瓷上，LLM_Audio在金属和水上）。
  • 参与者强调真实感、独特性和个人联想是影响偏好的关键因素。
• 相较基线的优势:
  • Real_Recording提供了最真实的模式，但需要高质量录音。
  • AI方法具有灵活性和自动生成的潜力，但有时会产生夸张或微弱的模式。
  • HDB模式在粗糙、刚性纹理方面效果显著，但在软性或液体材料上缺乏适应性。
• 实验/评估:
  • 参与者对10种材料（如木材、金属、水）进行模式排名并提供定性反馈。
  • 排名转换为Borda分数，并通过主题分析识别出五个关键主题：真实感、独特性、个人联想、努力程度和偏好。
• 局限性与未来工作:
  • 样本量较小（n=8），限制了普适性。
  • 研究集中于排名和定性反馈，未测量识别准确性或响应时间。
  • 未来工作应探索更大数据集、实时材料感知、多模态集成以及个性化。

总结

本研究提出了一种新颖的方法，通过振动触觉材料反馈增强数字图像的可访问性，专为盲人和视障用户设计。使用定制振动触觉平板评估了四种模式生成方法，其中Real_Recording获得了最高整体偏好。AI生成模式表现出潜力，但需要进一步优化以提高真实感和独特性。研究结果突出了结合触觉和听觉线索以增强图像可访问性的潜力，并提供了材料特定振动触觉反馈的可操作设计指南。未来工作将重点扩展系统规模、集成多模态线索以及实现实时材料感知。