TacNote: 用于非视觉访问的触觉和音频笔记系统

文献标题

TacNote: Tactile and Audio Note-Taking for Non-Visual Access

文献信息

• 主题领域: 无障碍技术与交互设计
• 关键词: 辅助技术, 触觉图形, 3D 打印笔, 移动应用, 无障碍设计, 非视觉访问

研究背景与问题

• 发现的挑战:

  • 盲人和视障者（BVI）主要依赖非视觉感官（如触觉和听觉）来理解物体的内容和空间关系，但这对复杂环境中的物品辨识和记忆提出了较大的认知负荷。
  • 常见的高科技辅助工具（如计算机视觉）虽能够提供信息访问，但缺少触觉反馈，容易加重使用者负担。
  • 使用现有方法（如标签、盲文标识等）创建触觉图形存在学习门槛高、可操作性弱、自主性不足等问题。

• 重要性:

  • 减轻视障者在日常生活和学习场景中的认知与记忆负担，提升他们的信息访问和环境熟悉能力，不仅有助于日常独立生活，还能提高学习与创造的效率。

• 研究动机与相关工作:

  • 近年来研究者探索了结合3D打印和语音辅助技术的方法，但现有方法通常需要视力正常者协助制作，且自由度和个性化程度受限。
  • 本研究希望利用3D打印笔的便携性和低学习门槛，为BVI用户提供一种独立创建、编辑触觉图形的方法，并结合语音辅助提高交互与记忆支持能力。

解决方案

• 提出的方案:

  • TacNote 系统：一个面向BVI用户的触觉与语音结合的笔记记录和交互移动系统。
  • TacNote包括两部分：用于绘制触觉图形的改装版3D打印笔，以及支持语音反馈和图形互动的移动应用。

• 创新之处:

  • 通过3D打印笔，用户可以自主绘制和定义个性化的触觉图形，解决以往手段需依赖他人的问题。
  • 融入了实时的语音分层反馈，以及基于“钟表法”的方向描述，帮助用户理解空间关系和信息层次。
  • 首次结合触觉对象创建、语音辅助和移动拍摄，支持信息的即时获取、编辑和回忆。

• 实施步骤与关键技术:

  • 3D打印笔改装：通过低温3D打印笔，保障安全性和触觉操作可能性；结合Arduino微控制器和蜂鸣器，提供听觉状态反馈（如加热完成、低电量等）。
  • 触觉图像处理：利用Python和OpenCV进行颜色提取和形状识别，通过MediaPipe实现手势识别和语音互动。
  • 录入与浏览过程：
    • Create Note 模式：用户绘制触觉图形并录入标题、内容、顺序和相对位置等信息。
    • Read Note 模式：用户拍摄目标对象图片，系统识别触觉图像符号并读取相关内容。
  • 过滤与提示机制：优化用户体验，包括照片质量检查、提示重新拍摄、不必要步骤自动跳过等。

研究成果

• 具体成果:

  1. 开发了TacNote系统，支持BVI用户独立创建、编辑和交互触觉符号，以及通过语音反馈理解内容。
  2. 通过15天日记研究与用户调查，验证了3D打印笔在BVI群体中的适用性和潜力，收集了他们在多场景下的应用体验与反馈。
  3. 用户研究显示，TacNote 显著降低了记忆负担，提供了更多信息定制与访问的自主性。

• 与现有解决方案对比的优势:

  • 自主性提高：BVI用户无需依赖视力正常者协助，即可轻松创作触觉图形。
  • 信息丰富：支持层次化语音描述，用户可以根据需求获取详细内容。
  • 灵活性：基于3D打印笔的标记方法适用于多种场景，包括分类标记、教育和导航。

• 实验与评估结果:

  • TacNote在用户评估（SUS量表）中获得80.25的平均高分，表现出良好的用户友好性与高效性。
  • 第一任务（相似物品区分）测试中，参与者的记忆能力评分从无系统的2.4提升至有系统支持的4.9。
  • 第二任务（空间理解）测试中，TacNote的辅助水平相比传统方法获得了高度评价，分数达4.6。

• 局限性与未来方向:

  • 局限性：
    • BVI用户的拍摄能力影响了部分使用体验。
    • 系统依赖蓝色打印耗材可能对某些背景色产生识别偏差。
  • 未来方向：
    • 提供相机增强功能及综合指导，以提高拍摄效果。
    • 扩展符号颜色范围，支持用户定制色彩。
    • 开发支持分享触觉图形的功能，便于多用户协作或公众场所的应用。

总结

TacNote通过触觉图形与语音技术结合为盲人和视障者提供了一种创新的信息记录与交互系统，显著提升了其信息访问能力与独立性。这一系统未来可扩展到教育、文化和空间探索等更广泛的应用场景。