I-Scratch：为盲人和视障人士提供独立创建滑动内容的听觉评论和触觉界面

研究背景与问题

问题与挑战

• 视觉为中心的用户界面障碍：当前的演示软件（如PowerPoint）主要面向视力正常的用户，其界面复杂且视觉导向，这对盲人和低视力用户（BVIs）来说形成了显著障碍。
• 空间理解与编辑难度：尽管屏幕阅读器（例如JAWS、NVDA）可以提供文本和基本界面元素的语音反馈，但它们无法有效帮助BVIs进行复杂的空间理解，例如编辑幻灯片内容的布局和美学。
• 现有解决方案的局限性：先前的研究尝试将视觉信息转化为声音，但在传递空间信息时存在认知负担。尽管使用触觉反馈增强了交互，但仍然存在创建和编辑演示幻灯片的显著差距。

重要性

• 演示文稿是专业和教育环境中传达信息的重要工具。然而，BVIs因其对主要视觉内容的访问受限，经常需要依赖有视力的协助，从而限制其创意表达和独立性。

研究动机与相关工作

• 动机：为了解决BVIs在使用演示软件时面临的高认知负荷和对他人依赖等问题，本文开发了一个将触觉和音频反馈与AI技术结合的创新系统。
• 相关工作：尽管先前研究为BVIs探索2D内容（例如图表、地图）以及数字绘图和网页设计提供了工具，但在支持他们独立编辑、创建和管理复杂演示文稿方面的研究较少，并且评估的侧重点往往偏向复制预设幻灯片，而非支持创作和内容优化。

解决方案

方法与创新

• 本文提出 I-Scratch，一个多模式交互系统，集成了触摸图形显示器(GTD)、语音反馈以及AI功能。该系统允许BVIs独立创建、探索和编辑演示幻灯片。
• 创新之处：
  1. 多模式反馈：结合触觉触摸和语音引导，减少认知负担。
  2. 简化UI：将PowerPoint的复杂界面重组为易于导航的触觉窗口。
  3. AI驱动的视觉支持：用于图像生成和内容解释的生成式AI（如DALL·E、GPT4）被整合，为用户提供图像描述和版面指导。

实施步骤与关键技术

• 系统架构：集成五种设备（PC、GTD、扬声器、网络摄像头和键盘）与多个软件组件（例如图像生成器、语音渲染器、触觉窗口管理器）。
• 用户交互：
  • 触觉窗口支持二维探索，通过用户的手指跟踪进行直接交互。
  • 用户通过键盘、触摸和语音命令操作功能。
• 触觉反馈呈现：
  • 使用点阵显示器(GTD)让用户通过触觉感知幻灯片布局及内容，例如边界、形状和比例。
• AI赋能功能：
  • 利用AI生成图像并为用户提供详细语音描述。
  • 通过AI分析用户的幻灯片布局并给出改善视觉呈现和美观性的建议。
• 参与式设计：通过与盲人用户三轮迭代设计改进界面，包括新增“撤销/恢复点”功能以及更具直觉性的缩放和旋转界面设计。

研究成果

具体成果

1. 功能测试：通过实验证明BVIs能通过I-Scratch完全或部分完成幻灯片的创建和编辑任务：
   • 在所有实验中，91.25%的任务达到了完成功能（全成功或部分成功）。
   • 创造力支持指数（CSI）得分为85.07（满分100分），显示了较高的用户满意度。
2. 独立性提升：系统帮助用户显著减少对有视力的协助的依赖。

优势

• 独立创建：无论用户之前是否有PowerPoint经验，I-Scratch都显著改善了其幻灯片编辑能力。
• 直观反馈：通过结合触觉和AI技术，为用户提供丰富且易懂的反馈。
• 支持生成式创造：AI功能鼓励了用户生成原创内容并优化幻灯片呈现。

实验与评估结果

• 触觉-语音反馈的结合使盲人用户能够高效完成复杂的幻灯片排版、旋转、缩放等任务。
• 在第二实验阶段，用户能够根据预设文本脚本重新修改人工或AI生成的幻灯片。
• 系统在“探索性”、“表达性”、“创作结果值得努力”等维度受到用户的高度评价。

局限性与未来方向

1. 技术局限性：
   • 存在设备切换（如从GTD切换到键盘）导致的效率下降。
   • 对风格属性（如字体、颜色）的支持不足。
2. 未来方向：
   • 提升可操作性：引入STT功能减少文本输入负担。
   • 扩展应用场景：针对Excel等其他文档工具开发辅助系统。
   • 增强AI辅助：开发更具智能的翻新与建议工具，以减少BVIs编辑过程中的复杂性。

I-Scratch作为一项创新性技术，为BVIs提供了独立创作演示文稿的能力。不仅填补了现有解决方案的空白，同时也为未来的无障碍技术研发提供了实践参考。