未能看到全貌:视障人士使用AI共同制作实体DIY辅助技术的挑战与机遇Kosa等人探索基于LLM的AI辅助视障人士共同制作DIY辅助技术,发现空间支持需求并提出设计机遇。2026BKBen Kosa et al.University of Wisconsin--Madison协同设计与协作CHI
水分传递:通过热湿整合的感知性湿润错觉Singhal等人提出水分传递错觉利用大脑热湿空间整合实现非接触式湿润感,设计VR概念验证界面实现全手湿润渲染,为XR可穿戴系统提供新交互可能。2026YSYatharth Singhal et al.University of Texas at Dallas热敏与手势交互CHI
AgentCoach:基于LLM的运动技能学习自适应指导反馈系统Ma等人开发AgentCoach系统,从教学视频提取关键指导点并映射到运动学参数,为运动技能学习者提供自适应视觉诊断和口头反馈,经技术验证和用户研究确认其可用性和效果。2026DMDizhi Ma et al.Purdue University面向教学、学习与概念形成的交互系统CHI
赋予触摸以意义:社会性触摸的上下文分析Bhardwaj 等人通过分析5,016个社会触摸事件揭示相同手势在不同身体部位、关系类型和情境下传达不同含义,为Avatar和社会化智能体等社会感知触摸技术设计提供依据。2026ABAyush Bhardwaj et al.The University of Texas at Dallas反思触觉CHI
FretFlow:吉他学习中节奏与演奏技巧的适应性触觉反馈Shu等人开发FretFlow触觉背心系统,将演奏技巧映射到触觉模式并实时适应学习者表现,显著提升初学者的节奏准确性和表达性演奏。2026XSXin Shu et al.Newcastle University悦耳之声(音乐与听觉)CHI
全身热掩蔽:模式、途径与感知边界王等人通过四项研究绘制全身热掩蔽图谱,发现掩蔽强度与体感途径相关,在手指等小区域局部化,在躯干等大区域广泛分布,为可穿戴热触觉界面设计提供首个全面参考。2026HWHaokun Wang et al.University of Texas at Dallas热敏与手势交互CHI
SensoryBlox:用于沉浸式纸板VR的即插即用模块化多感官用户界面Gil等人开发SensoryBlox模块化多感官VR系统,支持振动、温度、风和嗅觉模块即插即用,显著提升低成本纸板VR的沉浸感与交互体验。2026HGHyunjae Gil et al.The University of Texas at Dallas具身交互与可穿戴CHI
UltraEdit:超声触觉化原位设计环境Noeske 等人开发 UltraEdit 原位设计环境,支持用户在 VR 中通过裸手交互直接编辑超声触觉感受,创建空间和时间触觉模式。2025RNRichard Huynh Noeske et al.中空超声波触觉(Mid-air Haptics)形变界面与软机器人材料手部手势识别UIST
HeatFlow:用于动态二维热移动的热触觉显示器Singhal 等人提出 HeatFlow 热触觉显示器,通过结合振动热传递与触觉运动技术,在二维表面创造动态热流幻觉,验证了其在 VR 环境中增强沉浸式体验的潜力。2025YSYatharth Singhal et al.中空超声波触觉(Mid-air Haptics)形变界面与软机器人材料全身交互与体感输入UIST
AROMA:通过在现实与视频间建立多模态信息的混合主动式AI辅助非视觉烹饪Ning 等人开发了混合主动式AI系统AROMA,整合可穿戴摄像头与视频食谱内容,为视障用户提供实时非视觉烹饪指导与警报。2025ZNZheng Ning et al.对话式聊天机器人视觉障碍者技术(屏幕阅读器、触觉图形、盲文)环境感知与上下文计算UIST
VRSight:提升盲人虚拟现实可访问性的人工智能驱动场景描述系统Killough 等人提出 VRSight 系统,结合目标检测、深度估计和氛围解读的人工智能模型,为盲人生成基于音调和空间感的音频反馈,实现无需开发者介入的 VR 无障碍体验2025DKDaniel Killough et al.VR 中的社交与协作可解释人工智能(XAI)视觉障碍者技术(屏幕阅读器、触觉图形、盲文)UIST
PropType:日常道具作为增强现实中的输入表面Gil 等人开发PropType系统将日常物品转为AR输入表面,通过三项研究发现定制键盘布局可达26.1 WPM打字速度,错误率低至3.3%。2025HGHyunjae Gil et al.The University of Texas at Dallas, Department of Computer Science手部手势识别AR 导航与情境感知CHI
Let It Snow: 虚拟现实中雪景体验的设计Wang等人设计并评估VR中的雪景体验,通过多感官反馈技术创造沉浸式自然现象模拟,提升用户真实感。2024HWHaokun Wang et al.沉浸感与临场感研究UbiComp
运动中的热感知:通过触觉和热交互设计热流动错觉Singhal 等人提出整合热传递错觉与触觉运动的热流动感知方法,发现热条件下速度阈值范围为 1.8-9.5 cm/s 并成功应用于 VR 交互场景。2024YSYatharth Singhal et al.振动反馈与皮肤刺激沉浸感与临场感研究UIST
Fiery Hands:通过热触觉整合设计用于虚拟物体操作的热感手套Wang 等人设计了一款热感手套,通过在外手掌和手指背面的热致动器与触觉致动器协同,利用热传递现象在VR中实现局部热反馈与虚拟物体交互。2024HWHaokun Wang et al.振动反馈与皮肤刺激眼动追踪与注视交互沉浸感与临场感研究UIST
CookAR:可穿戴增强现实中的可供性增强辅助低视力人群厨房工具交互Lee 等人开发 CookAR 头戴式 AR 系统,通过实时厨房工具可供性分割与视觉增强,帮助低视力用户安全交互,研究显示用户更偏好可供性增强方案。2024JLJaewook Lee et al.AR 导航与情境感知视觉障碍者技术(屏幕阅读器、触觉图形、盲文)听觉障碍者支持(字幕、手语、振动)UIST
MIMOSA:视频计算空间音频效果的人机协作创作Ning 等人开发 MIMOSA 人机协作工具,通过多步管道让业余用户自动生成和手动调整视频空间音频,实验室研究验证其在沉浸式音频创作中的可用性与表现力。2024ZNZheng Ning et al.生成式AI(文本、图像、音乐、视频)音乐创作与声音设计工具创意协作与反馈系统C&C
SPICA:通过增强音频描述为盲人或低视力观众互动探索视频内容Ning 等人开发 SPICA 系统,利用音频-视觉机器学习管道增强现有音频描述,支持BLV用户进行帧字幕时间导航和关键帧内对象空间探索,14名用户研究验证了系统可用性和实用性。2024ZNZheng Ning et al.University of Notre Dame视觉障碍者技术(屏幕阅读器、触觉图形、盲文)CHI
热屏蔽:当幻觉接管现实时Wang 等人发现热屏蔽现象,通过热振动触觉执行器实验证实其可完全掩盖原始热感,感知距离达24厘米,温暖条件下更易发生2024HWHaokun Wang et al.University of Texas at Dallas振动反馈与皮肤刺激力反馈与伪重力感CHI
PEANUT:用于标注音视频数据的人机协作工具Zhang 等人开发了人机协作标注工具 Peanut,通过分离多模态任务并利用目标检测和声音标记模型,将音视频标注效率提升数倍同时保持高精度。2023ZZZheng Zhang et al.对话式聊天机器人大语言模型(LLM)的人机协作推荐系统用户体验UIST