内容与布局协同演进：TangibleSite通过多模态交互辅助盲人网页设计

文献标题

As Content and Layout Co-Evolve: TangibleSite for Scaffolding Blind People's Webpage Design through Multimodal Interaction

出版信息

• 主题领域: 面向盲人的无障碍网页设计
• 关键词: 实物界面, 多模态交互, 盲人网页设计师, 内容布局共演, 触觉反馈, 音频反馈, 无障碍网页创作, 迭代设计, 网页创建, 辅助技术

背景与问题

• 问题/挑战: 现有的盲人网页设计工具通常专注于布局或内容编辑，但未能在一个连贯的迭代工作流中整合两者。此外，这些工具缺乏足够的多模态反馈来支持非视觉的设计过程。
• 重要性: 使盲人能够独立创建和优化网页，对于促进包容性、创造力以及网页设计领域的职业机会至关重要。
• 动机与相关工作: 现有系统如 TangibleGrid 和 DesignChecker 提供了部分解决方案，分别专注于布局编辑或代码级优化，但未能支持端到端的工作流。盲人设计师在管理内容与布局关系时面临空间反馈不足和高认知负担的挑战。

解决方案

• 提出的方法: TangibleSite 是一款多模态网页创作工具，结合了触觉、听觉和语音交互，支持盲人创建和优化网页。
• 创新点:
  1. 将内容和布局编辑整合到单一的迭代工作流中。
  2. 提供实时多模态反馈，包括触觉、音频和语音提示。
  3. 维护网页结构和内容的持久、实时更新表示。
  4. 支持解决内容与布局冲突的可操作指导。
• 流程与关键技术:
  • 使用触觉底板和可调支架表示网页元素。
  • 实时反馈包括触觉振动、音频摘要和可操作建议。
  • 通过语音命令和键盘输入实现内容输入和优化。
  • 系统在元素操作时跟踪并更新网页的数字表示。

结果

• 具体发现:
  • 所有六名参与者在评估中成功创建了网页。
  • 参与者对 TangibleSite 在内容生成（66.7% 强烈同意）和布局设计（66.7% 强烈同意）方面的支持给予高度评价。
  • 实时反馈帮助参与者解决了内容与布局冲突，如文本溢出和图像对齐问题。
• 相较基线的优势:
  • 与现有系统不同，TangibleSite 支持内容和布局编辑、实时反馈以及设计问题的可操作指导。
  • 持久的空间定位和多模态反馈降低了认知负担，提高了设计信心。
• 实验/评估:
  • 六名盲人参与者（年龄 19–69 岁）通过引导任务和独立网页创建对系统进行了评估。
  • 主题包括作品集、博客、旅行日记和商业主页。
  • 参与者使用触觉、音频和语音交互迭代优化设计。
• 局限性与未来工作:
  • 布局表现力有限（如不支持边距、内边距或高级样式）。
  • 生成的网页缺乏响应式行为和无障碍元数据（如替代文本）。
  • 单次评估可能无法反映长期使用模式。
  • 未来工作包括自适应指导、自动化布局调整以及 AI 集成以实现高级设计功能。

总结

TangibleSite 是一款多模态网页创作工具，通过整合内容和布局编辑，旨在赋能盲人独立创建和优化网页。通过触觉交互、实时音频反馈和语音命令，该系统降低了认知障碍并支持迭代工作流。六名盲人参与者的形成性评估证明了该系统在网页创建和优化方面的有效性。未来的改进可能包括自适应指导、自动化布局调整以及 AI 驱动的设计功能，以进一步扩展其能力。