大型语言模型使手术导航中的上下文感知增强现实成为可能

可穿戴增强现实（AR）技术因其改变手术导航系统的潜力而日益受到认可。随着这些技术的发展，选择正确的交互方法来控制系统变得至关重要。我们的工作为胰腺手术的AR辅助系统（ARAS）引入了一个集成了大型语言模型（LLMs）的语音用户界面（VUI）。采用混合研究方法，我们在模拟手术任务和胰腺手术期间评估了基于LLM设计的可用性，并将其与传统使用语音命令的ARAS VUI进行了比较。我们的研究结果证明了所提出的基于LLM的VUI的可用性，与语音命令相比，其任务完成时间显著缩短，认知工作量显著降低。此外，外科医生访谈的定性见解与定量数据一致，揭示了对基于LLM的VUI的强烈偏好。外科医生强调了它的直觉性，并强调了基于LLM的VUI在手术环境中加速决策的潜力。