能力概览:虚拟现实中直观头像传达增强动作的设计指南Lu等人提出了虚拟现实中头像传达增强能力的16条设计指南,经两组参与者验证,使用该指南设计的天眼更具直观性,能有效传达能力及交互方法。2026YLYang K. Lu et al.香港科技大学XR 中的身份认同与化身(Avatar)VR 中的社交与协作沉浸感与临场感研究CHI
Branch Explorer:利用分支叙事支持视障用户的交互式360°视频观看Xu 等人开发 Branch Explorer 系统,将360°视频转换为分支叙事供视障用户交互式观看,通过多模态机器学习生成多样路径并配合沉浸式音频引导,显著增强用户主动性和参与度。2025SXShuchang Xu et al.香港科技大学360° 视频与全景内容无障碍游戏UIST
从跟随到理解:调查AR引导任务中反思提示在促进用户理解中的作用Zhang 等人通过两阶段研究开发AR反思提示,在咖啡制作和电路组装任务中验证,发现反思提示显著提高客观任务理解和主动信息获取行为。2025NZNandi Zhang et al.卡尔加里大学AR 导航与情境感知原型设计与用户测试CHI
DanmuA11y:通过多观众音频讨论使时间同步的屏幕视频评论(弹幕)对盲人和低视力用户可用Xu 等人提出 DanmuA11y 系统,将弹幕转换为多观众音频讨论,评估表明该系统显著提升了盲人观众对弹幕的理解和社交观看体验。2025SXShuchang Xu et al.香港科技大学语音可访问性无障碍游戏通用设计与包容性设计CHI
利用虚拟现实中的凝视行为建模视觉刺激对重定向显著性的影响Li等人建模VR中注视行为与重新定向可察觉性的关系,开发准确率达0.012 MSE的回归模型,验证自适应技术能减少身体需求并增强身体所有权。2025ZLZhipeng Li et al.苏黎世联邦理工学院眼动追踪与注视交互混合现实工作空间沉浸感与临场感研究CHI
计算三色觉重建:赋予色觉缺陷者使用增强现实识别颜色的能力Zhu等人提出计算三色觉重建系统,利用AR技术通过颜色空间旋转让色觉缺陷者区分原本混淆的颜色,并在实际场景中验证了其有效性。2024YZYuhao Zhu et al.罗切斯特大学AR 导航与情境感知视觉障碍者技术(屏幕阅读器、触觉图形、盲文)UIST
Auptimize:扩展现实中空间音频提示的优化放置Cho 等人提出Auptimize方法,利用口技效应将声源与视觉元素解耦并重新放置,减少XR环境中空间音频的定位错误和前后混淆问题。2024HCHyunsung Cho et al.卡内基梅隆大学VR 中的社交与协作沉浸感与临场感研究UIST
Memory Reviver:通过主动聊天机器人支持视障人士进行照片集回忆Xu等人开发Memory Reviver主动聊天机器人,通过Memory Tree分层结构和主动策略帮助视障人士进行照片集回忆,实验表明其能有效促进用户参与并增强对照片的理解。2024SXShuchang Xu et al.香港科技大学对话式聊天机器人认知障碍与神经多样性(自闭症、ADHD、阅读困难)UIST
预测虚拟现实中动态虚拟元素的显眼程度Li等人提出基于LSTM的VR虚拟元素注意度预测方法,通过视觉显著性分布分析在2.56秒内预测用户注意变化,助力自适应界面设计。2024ZLZhipeng Li et al.苏黎世联邦理工学院沉浸感与临场感研究大语言模型(LLM)的人机协作CHI
MineXR: 挖掘个性化的扩展现实界面Cho等人提出MineXR设计挖掘平台,通过智能手机截图创建XR界面元素,从31名参与者收集178个应用程序的695个XR小部件,为XR界面设计提供个性化数据支持。2024HCHyunsung Cho et al.卡内基梅隆大学混合现实工作空间沉浸感与临场感研究交互式数据可视化CHI
自适应语音:用于驾驶辅助的认知自适应语音界面Wen 等人提出 AdaptiveVoice 驾驶辅助系统,基于认知负荷优化调整语音消息详细程度和语速,VR 驾驶模拟中响应时间减少、驾驶表现提高2024SWShaoyue Wen et al.纽约大学抬头显示(HUD)与驾驶辅助系统(ADAS)语音用户界面(VUI)设计CHI
Time2Stop:用于智能手机过度使用干预的自适应和可解释的人工智能循环Orzikulova 等人设计 Time2Stop 自适应 JITAI 系统,通过机器学习识别最佳干预时机并提供可解释 AI,用户应用访问频率降低 7.0~8.9%。2024AOAdiba Orzikulova et al.韩国科学技术院可解释人工智能(XAI)AI 辅助决策与自动化系统通知与中断管理CHI
DRG-Keyboard:使用双IMU环实现指尖微妙手势输入Liang 等人设计 DRG-Keyboard 手指手势键盘,通过双IMU环追踪拇指与食指相对姿态,实现12.9 WPM输入速度,为微小曲面输入提供新方案。2023CLChen Liang et al.清华大学振动反馈与皮肤刺激触觉可穿戴设备手部手势识别UbiComp
在低分辨率图像上建模隐私保护和活动识别之间的权衡Wang 等人建模低分辨率图像上隐私保护与活动识别的权衡,通过用户调查确定家庭ADLs场景中最重要的视觉隐私特征,指导隐私保护系统设计2023YWYuntao Wang et al.清华大学人体姿态与行为识别数据隐私感知与决策CHI
HandAvatar:通过手部实现非人形虚拟化身Jiang 等人提出 HandAvatar,通过共同优化控制精度、结构相似性和舒适度自动生成手到非人形虚拟形象映射,实现更精准控制与更低体力消耗。2023YJYu Jiang et al.清华大学手部手势识别混合现实工作空间XR 中的身份认同与化身(Avatar)CHI
通过用户视角手机遮挡选择真实世界对象Qin 等人提出利用手机遮挡从用户第一人称视角选择目标的方法,借助本体感觉将手机变为物理光标,实现快速准确的对象选择。2023YQYue Qin et al.清华大学手部手势识别眼动追踪与注视交互环境感知与上下文计算CHI
作为深度线索的虚拟现实颜色-深度映射Li 等人提出 VR 颜色-深度映射方法,通过改变虚拟物体饱和度和明度反映距离,将感知深度误差降低60.8%,并在3D绘制任务中提升用户准确性信心。2022ZLZhipeng Li et al.苏黎世联邦理工学院沉浸感与临场感研究医疗与科学数据可视化UIST
FaceOri: 使用耳塞上的超声测距追踪头部位置和方向Wang 等人提出 FaceOri 声学面部追踪技术,利用耳塞超声测距实现1.5米内93.5%的朝向识别准确率,支持设备免提控制。2022YWYuntao Wang et al.清华大学眼动追踪与注视交互环境感知与上下文计算CHI
走向理解降维现实Cheng 等人通过两项研究比较降损现实与中介现实效果,制定创建通用降损现实环境的指南,提升用户在相关场景的体验舒适度2022YCYi Fei Cheng et al.卡内基梅隆大学混合现实工作空间沉浸感与临场感研究环境感知与上下文计算CHI
ReflecTrack:基于消费级双麦克风智能手机的3D声学位置追踪技术Zhuang等人提出ReflecTrack方法,利用双麦克风智能手机接收声波信号和反射信号,实现60cm空间内28.4mm中值误差的3D追踪。2021YZYuzhou Zhuang et al.清华大学全身交互与体感输入生物传感器与生理监测UIST