EmojiFan：设计支持视障人士在派对场景中进行面部表情交互的社交界面

文献标题

EmojiFan: Designing A Social Interface Supporting Facial Expression Interaction for Blind and Low Vision People in Party Settings

出版信息

• 主题领域: 无障碍环境中的社交互动辅助技术。
• 关键词: 盲人和低视力、面部表情互动、AI代理、社交辅助技术、聚会场景、基于表情符号的交流、触觉反馈、无障碍设计、用户研究、人机交互。

背景与问题

• 问题/挑战: 盲人和低视力（BLV）个体在动态社交环境（如聚会）中面临参与面部表情互动的障碍，而非语言线索在此类场景中至关重要。现有辅助技术主要关注感知社交线索，但忽略了对这些线索进行回应的支持。
• 重要性: 社交聚会是建立人际关系的关键，但BLV个体参与度较低，这导致孤独感和社交孤立。解决这些障碍有助于增强他们的自主性和社会包容性。
• 动机与相关工作: 之前的系统（如Google Glass和VR头显）帮助BLV用户感知非语言线索，但未能支持完整的面部表情互动。眼动追踪设备帮助实现眼神交流，但忽略了更广泛的面部表情。本论文旨在弥补这些空白，重点关注聚会场景。

解决方案

• 提出的方法: EmojiFan，一种由AI驱动的智能风扇，将面部表情转换为动态表情符号，使BLV用户能够在聚会场景中感知并回应社交线索。
• 创新点:
  1. 开发EmojiFan，一种针对BLV用户设计的AI辅助系统，用于基于表情符号的面部表情互动。
  2. 调查BLV用户在感知社交线索后面临的面部表情互动挑战。
  3. 提供设计见解，用于创建社会可接受且不引人注意的辅助技术。
• 流程与关键技术:
  • 对10名BLV用户进行形成性研究，识别聚会场景中的挑战。
  • 设计EmojiFan，包括触觉反馈、个性化表情符号响应以及风扇界面以实现不引人注意的互动。
  • 实现硬件（ESP32-CAM、振动马达、陀螺仪）和软件（微调的GPT-4o、DeepFace模型）以进行实时面部表情识别和表情符号显示。
  • 在模拟聚会环境中对EmojiFan进行评估，参与者包括6名BLV用户和8名视力正常的伙伴。

结果

• 具体发现:
  • EmojiFan促进了破冰环节，并增强了BLV用户的互动，使对话更加顺畅和有趣。
  • BLV用户在发起和控制社交互动方面获得了自主性，使用风扇来表示参与或退出。
  • 视力正常的个体对BLV用户表现出更高的同理心和关注度，改善了双方的相互理解。
• 相较基线的优势:
  • 提供了超越眼神交流的更丰富的面部表情互动，弥补了现有辅助技术的不足。
  • 通过风扇界面提供了不引人注意且符合文化习惯的互动方式，减少了社会污名化。
• 实验/评估:
  • 在模拟聚会场景中进行控制互动实验，分别测试使用和未使用EmojiFan的情况。
  • 通过视频记录、访谈和主题分析收集数据。
  • 结果显示使用EmojiFan时对话质量的主观评价更高。
• 局限性与未来工作:
  • BLV用户无法实时感知显示的表情符号，需探索替代反馈机制。
  • AI生成的表情符号存在模糊性，面部识别算法存在偏差，需进一步优化。
  • 未来研究应在真实聚会场景中测试EmojiFan，并探索其在其他社交环境中的适用性。

总结

本文介绍了EmojiFan，一种AI驱动的智能风扇，旨在支持BLV个体在聚会场景中的面部表情互动。通过将面部表情转换为动态表情符号，EmojiFan使BLV用户能够感知并回应社交线索，促进自主性并减少社会污名化。用户研究表明，该系统在促进破冰、增强视力正常个体的同理心以及提升互动质量方面效果显著。未来工作将解决实时反馈的局限性，并探索其在多样化社交场景中的广泛应用。