从提示到临在:与生成式AI在VR中共创个性化情感避难所Wen等人开发OasisMind系统,让用户通过自然语言提示共创360° VR环境和数字伴侣,研究表明用户自创环境具有更高主观偏好和情感共鸣。2026RWRuoyu Wen et al.University of Canterbury面向健康与福祉的智能界面IUI
AI of Oz:利用人工智能辅助人工Moderator增强人机交互中的Wizard of Oz研究Wen 等人提出 AI of Oz 框架,利用大型语言模型辅助人类 moderator 监控交互并提供上下文响应建议,显著提升了 HCI 研究中参与者的交互控制能力。2026RWRuoyu Wen et al.University of Canterbury研究方法与用户体验CHI
认知桥:用于跨职能协作的人工智能生成边界对象Gunasekaran 等人开发 Cognitive Bridge 人工智能系统,通过实时生成视觉图表等边界对象促进设计师与开发者协作,16对实验将沟通冲突减少47%,但需平衡效率与创意探索。2026TGTamil Selvan Gunasekaran et al.The University of Auckland小组工作CHI
大脑知道你的偏好:使用EEG解码AR输入偏好Zhang 等人利用机器学习分类EEG信号解码AR交互偏好,在完成阶段达86%准确率,实现了实时输入偏好识别,为用户体验优化提供新途径2025KZKaining Zhang et al.University of South Australia, Empathic Computing Lab脑机接口(BCI)与神经反馈AR 导航与情境感知CHI
RadarHand:一种用于皮肤触控本体感手势的腕戴式雷达设备Hajika 等人提出 RadarHand 腕戴式毫米波雷达设备,实现27种本体感手势识别,在主动和反应交互模式下分别达到87%和91%的准确率。2024MHMr Ryo Hajika et al.振动反馈与皮肤刺激足部与手腕交互UIST
协作式混合现实中共享注视行为的影响Jing 等人研发360度全景MR远程协作系统,共享双向注视可视化可增强联合注意、降低认知负荷并改善协作相互理解。2022AJAllison Jing et al.XR Collaboration; XR CollaborationCSCW
VRhook:用于VR晕动症研究的数据采集工具Wen等人开发VRhook数据采集工具,通过动态钩子技术注入VR游戏运行时内存,自动记录视频帧与变换矩阵并提取旋转、速度等标签,实现无需修改源代码的晕动症数据集采集。2022EWElliott Wen et al.运动晕车与乘客体验沉浸感与临场感研究UIST
利用大脑和生理信号进行对话中的情绪识别Saffaryazdi 等人提出利用脑电(EEG)、光体积变化描记图(PPG)和皮肤电反应(GSR)信号识别面对面对话中的情绪,为传统表情和语音线索提供更可靠的替代方案。2022NSNastaran Saffaryazdi et al.脑机接口(BCI)与神经反馈生物传感器与生理监测IUI
将陪审团带到犯罪现场:模拟犯罪现场中的记忆与决策Reichherzer 等人研究 VR 犯罪现场重建作为陪审辅助工具,发现 VR 能使陪审员决策更一致,为法庭呈现场景提供更优解决方案。2021CRCarolin Reichherzer et al.University of South Australia沉浸感与临场感研究博物馆与文化遗产数字化CHI
OmniGlobeVR:用于虚拟现实的协作式360度通信系统Li 等人开发了 OmniGlobeVR asymmetrical VR 协作系统,支持 VR 用户与多个非 VR 设计师通过 360° 视角与面部窗口进行协作,第一人称加面部窗口模式效果最优。2020ZLZhengqing Li et al.VR 中的社交与协作沉浸感与临场感研究DIS
结合360视频和3D重建的混合现实远程协作Teo等人开发融合360度视频与3D重建的混合现实远程协作系统,用户研究表明360度在协作搜索中表现更佳,3D可作补充,提升远程协作效果。2019TTTheophilus Teo et al.University of South AustraliaVR 中的社交与协作沉浸感与临场感研究CHI
站在巨人的肩膀上:结合360度视频共享和实体交互的多尺度混合现实协作Piumsomboon等人提出巨人-微型协作模式,利用360度相机和实体界面实现本地AR用户与远程VR用户的多尺度混合现实协作,24名用户验证了肩载相机视图的偏好2019TPThammathip Piumsomboon et al.University of Canterbury & University of South AustraliaVR 中的社交与协作混合现实工作空间360° 视频与全景内容CHI
扭曲指示手势以增强协作Sousa 等人提出 Warping Deixis 方法,通过扭曲虚拟表示改善指指点点手势的感知,在VR环境中有效促进协作交流。2019MSMaurício Sousa et al.INESC-ID Lisboa & Universidade de Lisboa手部手势识别VR 中的社交与协作CHI
评估基于HMD的混合现实远程协作中视觉通信线索的组合Kim 等人研究 HMD 混合现实远程协作中视觉线索组合,发现加入手势的草图线索能显著提升任务完成速度和可用性,但增加精神努力。2019SKSeungwon Kim et al.University of South Australia混合现实工作空间CHI
精准定位:基于头部和眼睛的增强现实目标选择Kytö 等人提出结合头部运动与目光的多模式选择技术,实现 AR 环境中稳健目标选择并提供在线校准漂移校正方法。2018MKMikko Kytö et al.Aalto University School of Science, University of South Australia眼动追踪与注视交互AR 导航与情境感知CHI
Mini-Me:适用于混合现实远程协作的自适应化身Piumsomboon 等开发Mini-Me适应性化身,表示远程用户视线和手势、大小动态调整,使AR用户与VR用户协作时社交存在感和整体体验显著提升。2018TPThammathip Piumsomboon et al.University of South AustraliaVR 中的社交与协作混合现实工作空间XR 中的身份认同与化身(Avatar)CHI