多模态人机交互中的目光与语音:范围综述Khan 等人对103项研究进行综述,系统分析目光与语音在多模态交互中的结合方式,识别出消除歧义、定位参照和适应性支持等应用场景。2026AKAnam Ahmad Khan et al.墨尔本大学眼动追踪与注视交互语音用户界面(VUI)设计情感化人机对话CHI
利用生理测量理解现实-虚拟连续体对视觉搜索的影响Chiossi 等人利用脑电图和眼动追踪研究MR环境对视觉搜索的影响,发现AR会降低目标识别能力并增加注意力分散,设计启示在于需考虑生理指标的适应性交互。2024FCFrancesco Chiossi et al.慕尼黑大学眼动追踪与注视交互脑机接口(BCI)与神经反馈AR 导航与情境感知MobileHCI
分类头部运动以区分头部注视和头部手势作为不同的输入模式HOU 等人提出 HeadBoost 分类器区分头部目光与头部手势输入,F1-Score 达 0.89,解决 Midas Touch 误触发问题。2023BHBaosheng James HOU et al.兰开斯特大学眼动追踪与注视交互人体姿态与行为识别CHI
语音增强的视锥范围用于探索性数据分析Bovo 等人提出将口头交流与视锥结合的语音增强方法,提升VR协作中视线推断准确度,并发布首个头部、眼睛和口头行为多模态数据集。2023RBRiccardo Bovo et al.伦敦帝国学院眼动追踪与注视交互VR 中的社交与协作交互式数据可视化CHI
会聚匹配:在3D环境中通过注视辅助选择推断对物体的注意力Sidenmark 等人提出汇聚匹配方法,通过3D对象深度运动与汇聚眼动相匹配,在两项用户研究中可靠推断对小目标的凝视注意力。2023LSLudwig Sidenmark et al.兰开斯特大学眼动追踪与注视交互人体姿态与行为识别CHI
整合视线和语音以实现隐式交互Khan 等人融合用户注视活动与语音语义知识,结合逻辑回归分类器实现语音笔记与学术论文段落的准确匹配,F1-Score达0.90,推动多模态交互设计。2022AKAnam Ahmad Khan et al.墨尔本大学眼动追踪与注视交互语音用户界面(VUI)设计CHI
打字还是说话?输入模式对笔记记录过程中文本理解的影响Khan 等人通过对比研究发现,语音笔记相比键盘打字能触发生成过程,使学习者记录更详尽笔记,并获得更高概念理解效果。2022AKAnam Ahmad Khan et al.墨尔本大学语音用户界面(VUI)设计智能辅导系统与学习分析CHI
专注的面孔:一项关于注意力状态的面部线索的研究Babaei 等人通过评估15名参与者一整天工作数据集,识别出凝视、嘴唇张开等面部动作单元可区分参与度与挑战性,为基于面部线索的注意力状态检测提供依据2020EBEbrahim Babaei et al.墨尔本大学眼动追踪与注视交互人体姿态与行为识别CHI
语音交互游戏玩法的框架分析Allison 等人用框架分析提出语音交互游戏的七个主题,揭示语音控制如何增强或干扰玩家社会体验2019FAFraser Allison et al.墨尔本大学语音用户界面(VUI)设计游戏用户体验与玩家行为多人与社交游戏CHI
表象可能具有欺骗性:在战略游戏中使用凝视可视化来预测和误导对手Newn 等人通过战略游戏实验发现实时目光可视化可提升玩家计划辨识能力,玩家意识到被追踪后会主动操纵目光进行策略性欺骗。2018JNJoshua Newn et al.墨尔本皇家理工大学眼动追踪与注视交互游戏用户体验与玩家行为CHI
运动相关性:通过匹配其运动来选择对象Velloso 等人提出运动相关性交互方法,通过让用户模仿界面呈现的运动来选择对象,系统根据运动匹配度确定选择,为手势和注视界面设计制定了指导方针。2018EVEduardo Velloso et al.墨尔本大学手部手势识别全身交互与体感输入CHI