先凝视后发声:通过无显示器智能眼镜的凝视和语音交互实现物理对象引用Zhang 等人提出「先凝视后发声」系统,用户通过视线选择物理对象后获得语音描述,实验显示53%凝视线选择正确,语音消歧纠正了58%错误。2026ZZZheng Zhang et al.圣母大学眼动追踪与注视交互语音用户界面(VUI)设计环境感知与上下文计算IUI
Squiggle:真实世界中的多模态套索选择Fashimpaur 等人提出 Squiggle 交互技术,通过智能眼镜上想象的光线投射绘制套索手势,在无连续反馈下实现精确物体引用,显著提升复合物体选择准确性。2025JFJacqui Fashimpaur et al.Meta手部手势识别眼动追踪与注视交互环境感知与上下文计算UIST
基于大语言模型的现实世界上下文与任务辅助创作Dang等人提出情境驱动提示(CDPs)概念用于AI辅助创作,实现原型系统并通过10人用户研究揭示了表达和优化现实世界任务目标的策略,为AI辅助创作界面设计提供启示。2025HDHai Dang et al.拜罗伊特大学大语言模型(LLM)的人机协作环境感知与上下文计算IUI
基于动态贝叶斯网络的多模态上下文感知交互框架Han 等人提出融合动态贝叶斯网络与大语言模型的多模态交互框架,通过整合视线和手势实时推断用户意图,在办公场景下达到每帧0.83的识别准确率。2025VHViolet Yinuo Han et al.卡内基梅隆大学环境感知与上下文计算计算方法在HCI中的应用IUI
持久助手:通过意图定位和多模态反馈实现无缝日常AI交互Cho等人提出基于情境意图指定、具身输入与多模态反馈的持久助手框架,结合眼动追踪、捏合手势和触觉反馈实现无缝日常AI交互。2025HCHyunsung Cho et al.卡内基梅隆大学车内触觉、声音、多模态反馈语音用户界面(VUI)设计智能语音助手(Alexa、Siri 等)CHI
SonoHaptics:基于注视的XR对象选择的音频触觉光标Cho 等人提出SonoHaptics音频触觉光标,通过跨模态映射将对象视觉特征转为声音触觉反馈,实现无显示智能眼镜环境下的准确对象选择。2024HCHyunsung Cho et al.卡内基梅隆大学中空超声波触觉(Mid-air Haptics)眼动追踪与注视交互VR 中的社交与协作UIST
MineXR: 挖掘个性化的扩展现实界面Cho等人提出MineXR设计挖掘平台,通过智能手机截图创建XR界面元素,从31名参与者收集178个应用程序的695个XR小部件,为XR界面设计提供个性化数据支持。2024HCHyunsung Cho et al.卡内基梅隆大学混合现实工作空间沉浸感与临场感研究交互式数据可视化CHI
快进现实:使用扩展现实中的实时单元测试编写无错误的上下文感知策略Qian等人开发了Fast-Forward Reality系统,通过XR和自动生成单元测试帮助用户验证上下文感知策略,用户研究显示准确性提升且可用性反馈积极。2024XQXun Qian et al.普渡大学环境感知与上下文计算普适计算(Ubiquitous Computing)CHI
FrameKit: 使用关键帧创作自适应用户界面的工具Wu 等人开发了FrameKit工具,通过关键帧插值和编程示例技术,简化自适应用户界面的创作流程,前端开发者经简短培训即可掌握。2024JWJason Wu et al.卡内基梅隆大学大语言模型(LLM)的人机协作原型设计与用户测试IUI
XAIR:增强现实中的可解释人工智能框架Xu 等人提出XAIR框架,基于文献回顾、500人调查和三场专家研讨会,为AR中的可解释AI设计何时何地及如何提供解释提供指导。2023XXXuhai Xu et al.华盛顿大学AR 导航与情境感知可解释人工智能(XAI)CHI
重新发现可能性:强化学习的视角Liao 等人基于强化学习理论提出affordance形成整合理论,在虚拟机器人中验证了人类般的affordance适应能力,尽管预测与人类数据趋势一致,但人类适应更快。2022YLYi-Chi Liao et al.阿尔托大学人体姿态与行为识别CHI
与图形用户界面的对话Todi 等人开发了基于自然语言的 GUI 数据集对话式助手,通过调查120名用户创建了包含1317条查询的标注数据集,可为设计师、开发者及终端用户提供直观的 GUI 信息检索服务。2021KTKashyap Todi et al.阿尔托大学对话式聊天机器人交互式数据可视化用户研究方法(访谈、调查、观察)DIS
交互式布局迁移Dayama 等人提出基于整数规划的交互式布局迁移方法,可将设计草稿自动转换为符合设计规范的模板布局,并集成到实时GUI绘图工具中提升设计效率。2021NDNiraj Ramesh Dayama et al.阿尔托大学原型设计与用户测试IUI
基于模型的强化学习适应用户界面Todi 等人提出基于模型强化学习的自适应界面方法,采用保守策略避免无用适应,通过预测性人机交互模型评估影响,在自适应菜单实验中优于非自适应策略。2021KTKashyap Todi et al.阿尔托大学大语言模型(LLM)的人机协作可解释人工智能(XAI)AI 辅助决策与自动化系统CHI
GRIDS:使用整数规划进行交互式布局设计Dayama 等人提出基于MILP的GRIDS交互式网格布局工具,通过实时建议和多样化增强技术,助力设计师快速生成布局方案2020NDNiraj Ramesh Dayama et al.阿尔托大学360° 视频与全景内容平面设计与排版工具原型设计与用户测试CHI
SAM:自适应网页菜单的模块化框架Gobert 等人提出SAM模块化JavaScript框架,通过解耦目标策略与适应样式实现网页菜单的自适应,支持重新排序和高亮显示等适配方式。2019CGCamille Gobert et al.阿尔托大学通用设计与包容性设计隐私设计与用户控制IUI
熟悉化:使用视觉学习模型重排布局Todi等人提出Familiariser系统,利用视觉学习模型根据用户历史访问记录自动重构网页布局,帮助用户更快找到界面特征。2018KTKashyap Todi et al.阿尔托大学交互式数据可视化原型设计与用户测试计算方法在HCI中的应用IUI