先凝视后发声:通过无显示器智能眼镜的凝视和语音交互实现物理对象引用Zhang 等人提出「先凝视后发声」系统,用户通过视线选择物理对象后获得语音描述,实验显示53%凝视线选择正确,语音消歧纠正了58%错误。2026ZZZheng Zhang et al.University of Notre Dame眼动追踪与注视交互语音用户界面(VUI)设计环境感知与上下文计算IUI
ProMemAssist:基于工作记忆建模的多模态可穿戴设备及时主动协助研究Pu 等人开发 ProMemAssist 智能眼镜系统,通过建模用户工作记忆预测最佳协助时机,在认知 demanding 任务中提供更精准、更高用户参与度的主动协助。2025KPKevin Pu et al.车内触觉、声音、多模态反馈大语言模型(LLM)的人机协作生物传感器与生理监测UIST
Squiggle:真实世界中的多模态套索选择Fashimpaur 等人提出 Squiggle 交互技术,通过智能眼镜上想象的光线投射绘制套索手势,在无连续反馈下实现精确物体引用,显著提升复合物体选择准确性。2025JFJacqui Fashimpaur et al.手部手势识别眼动追踪与注视交互环境感知与上下文计算UIST
基于动态贝叶斯网络的多模态上下文感知交互框架Han 等人提出融合动态贝叶斯网络与大语言模型的多模态交互框架,通过整合视线和手势实时推断用户意图,在办公场景下达到每帧0.83的识别准确率。2025VHViolet Yinuo Han et al.环境感知与上下文计算计算方法在HCI中的应用IUI
少即是多:面向超小设备的LLM推荐可扫视解释方法研究Wang 等人针对智能手表等超小设备,提出通过空间结构化和基于置信度的时间自适应两种方式呈现LLM推荐解释,研究表明结构化解释可降低用户行动时间和认知负荷。2025XWXinru Wang et al.大语言模型(LLM)的人机协作可解释人工智能(XAI)IUI
持久助手:通过意图定位和多模态反馈实现无缝日常AI交互Cho等人提出基于情境意图指定、具身输入与多模态反馈的持久助手框架,结合眼动追踪、捏合手势和触觉反馈实现无缝日常AI交互。2025HCHyunsung Cho et al.Meta Inc., Reality Labs Research; Carnegie Mellon University, Human-Computer Interaction Institute车内触觉、声音、多模态反馈语音用户界面(VUI)设计智能语音助手(Alexa、Siri 等)CHI
使用隐式用户行为在虚拟现实中进行目标错误检测的多模式方法Sendhilnathan 等人开发多模态隐式行为深度学习模型,在VR场景中0.5秒内检测目标错误,AUC-ROC达0.9,显著提升错误恢复效率。2025NSNaveen Sendhilnathan et al.MetaVR 中的社交与协作沉浸感与临场感研究大语言模型(LLM)的人机协作CHI
SonoHaptics:基于注视的XR对象选择的音频触觉光标Cho 等人提出SonoHaptics音频触觉光标,通过跨模态映射将对象视觉特征转为声音触觉反馈,实现无显示智能眼镜环境下的准确对象选择。2024HCHyunsung Cho et al.中空超声波触觉(Mid-air Haptics)眼动追踪与注视交互VR 中的社交与协作UIST
MineXR: 挖掘个性化的扩展现实界面Cho等人提出MineXR设计挖掘平台,通过智能手机截图创建XR界面元素,从31名参与者收集178个应用程序的695个XR小部件,为XR界面设计提供个性化数据支持。2024HCHyunsung Cho et al.Carnegie Mellon University混合现实工作空间沉浸感与临场感研究交互式数据可视化CHI
快进现实:使用扩展现实中的实时单元测试编写无错误的上下文感知策略Qian等人开发了Fast-Forward Reality系统,通过XR和自动生成单元测试帮助用户验证上下文感知策略,用户研究显示准确性提升且可用性反馈积极。2024XQXun Qian et al.Reality Labs Research环境感知与上下文计算普适计算(Ubiquitous Computing)CHI
用于腕部交互的快速在线参数优化的元贝叶斯方法Liao 等人提出元贝叶斯优化方法,通过少量试验快速校准手腕交互参数,使绝对指向和相对指向性能分别提升 22.92% 和 25.43%。2024YLYi-Chi Liao et al.Aalto University振动反馈与皮肤刺激力反馈与伪重力感足部与手腕交互CHI
研究扩展现实中的腕部偏转滚动技术Fashimpaur 等人提出 Wrist Joystick 和 Wrist Drag 两种腕部偏转滚动技术,在快速项目获取和随意浏览任务中表现与现有技术相当,为 XR 交互提供姿势独立的双手释放滚动方案2023JFJacqui Fashimpaur et al.Meta Inc.足部与手腕交互混合现实工作空间沉浸感与临场感研究CHI
使用挤压触觉姿势强化在虚拟现实中调查眼睛离开空中打字Gupta 等人验证手腕挤压姿势强化触觉在VR空中打字中的效果,使熟练用户视觉注意力减少44%,实现视线离开键盘的高效打字。2023AGAakar Gupta et al.Meta Inc振动反馈与皮肤刺激手部手势识别眼动追踪与注视交互CHI
XAIR:增强现实中的可解释人工智能框架Xu 等人提出XAIR框架,基于文献回顾、500人调查和三场专家研讨会,为AR中的可解释AI设计何时何地及如何提供解释提供指导。2023XXXuhai Xu et al.Reality Labs Research, University of WashingtonAR 导航与情境感知可解释人工智能(XAI)CHI
RIDS:虚拟现实中自由手势指点时利用手部运动动力学对选择手势的隐式检测Hu 等人提出 RIDS 系统,利用手部运动动力学在 VR 中选择手势前隐式预测用户意图,TCN 模型将精确度提升 11.2%,为自由手势交互提供更可靠的输入信号。2022ZHZhenhong Hu et al.手部手势识别人体姿态与行为识别UIST
利用虚拟现实中的眼动动态检测输入识别错误和用户错误Sendhilnathan 等人利用VR中眼动动态区分正确输入、识别错误和用户错误,构建的多类深度神经网络达到0.78的AUC-ROC分数,实现自动错误检测。2022NSNaveen Sendhilnathan et al.眼动追踪与注视交互人体姿态与行为识别沉浸感与临场感研究UIST
优化虚拟现实中智能建议的呈现时机Yu等人提出用于VR智能建议时机优化的计算框架,通过用户中心成本效益分析确定最佳呈现时机,有效平衡准确性与时间效率。2022DYDifeng Yu et al.VR 中的社交与协作AI 辅助决策与自动化系统UIST