SIGCHI 终身研究奖演讲——展望未来，超越视野

我一直对计算机如何帮助人们执行熟练任务感兴趣——这一主题基本上贯穿了我所有的研究。正如这次演讲故意复杂的标题所暗示的，我将回顾一些研究，解释后来发生了什么，并推测接下来可能发生什么。 我作为研究生最早的工作是开发新型超媒体编辑和展示工具，用于设备维护程序的技术文档。理解手动使用这些工具所需的努力导致了我的博士论文，该论文探讨了基于规则的技术，用于自动生成3D图形，这些图形最终可以替代维护手册中的图片。基于要描绘的任务的信息，我设计了一个系统，该系统选择要包含的对象，确定渲染它们的详细程度（例如，添加更多细节以区分可能混淆的对象），突出显示重要对象以强调，并创建额外的“元对象”（例如，箭头以显示动作）。当我开始担任教职时，我的一些学生在此研究方向上进行了3D和2D领域的研究，我们很快与同事合作，开发了结合图形和文本的协调多媒体解释的生成方法。 同时，我对虚拟现实（VR）在抽象领域和物理领域中以立体方式呈现对象并与之在3D中交互的潜力感到兴奋。从那里跳到增强现实（AR）也很容易，我们拼凑了一个简单的单眼光学透视式头戴显示器。我们的第一个AR系统是一个“混合”桌面窗口管理器，它将平板显示器上显示的窗口嵌入到AR显示器上呈现的更大虚拟环境中。有了这个AR显示器作为工具，很明显，我们投入大量精力精心制作独立图片来解释任务的努力是不必要的。如果用户可以直接查看实际任务领域，那么一个简单的高亮或箭头，叠加在原位，可以显示要按哪个按钮或转动哪个控制面板上的旋钮。 受此观察的启发，我实验室的许多研究随后都集中在设计AR用户界面方面，无论是室内还是室外，单独工作还是合作。虽然AR确实使一些问题变得更容易，但它也带来了困难的挑战！在经典用户界面中，设计师和程序员几乎控制了用户体验的所有方面；例如，确定每个像素的颜色，并提前考虑到有限的一组变化。相比之下，AR庆祝并与物理世界的感知上下文一起工作。而这个世界是极其流动的，通常难以预测，因为用户和他们环境中的事物相对于彼此移动和变化。作为回应，虚拟用户界面必须根据需要动态变化，以补充而不是干扰物理世界；例如，一个不太重要的虚拟对象不应该遮挡一个更重要的对象，无论是物理对象还是虚拟对象。 考虑到这一点，我的实验室不仅在AR和VR领域，而且在许多类型的桌面、移动和可穿戴用户界面领域，都致力于解决诸如医疗保健、游戏、图形编辑、导航和设备组装等领域的用户界面设计问题。接下来会发生什么？我将通过猜测（这是一项危险的运动！）一些可能的未来方向来结束这次演讲。