DoThisHere：使用多模态交互支持移动设备跨应用任务

视频

DOI

许多计算任务，如比较购物、双因素认证和查看电影评论，需要同时使用多个应用。在大屏幕上，「窗口、图标、菜单、指针」(WIMP) 图形用户界面支持多个应用之间轻松共享内容和上下文。因此，用户可以轻松查看一个应用的内容并在另一个应用中编写相关内容，例如查看某个地点的地图并将步行指引输入电子邮件。然而，尽管当今智能手机也使用图形用户界面，但它们的屏幕较小且窗口支持有限，这使得在不同应用之间切换上下文和交换数据变得困难。我们引入了DoThisHere，这是一种简化跨应用任务并减轻这些任务给用户带来负担的多模态交互技术。用户可以使用语音引用屏幕外的信息或应用功能，并使用触屏指定相关信息应被插入或显示的位置。通过DoThisHere，用户可以更少的上下文切换来访问其他应用的信息或向其他应用传递信息。我们进行了一项调查，以找出人们在智能手机上正在执行或希望执行哪些跨应用任务。在从75名参与者收集的125个任务中，我们发现其中59个任务目前没有得到很好的支持。DoThisHere有助于完成95%的这些不支持任务。一项用户研究显示，当用户执行此类任务的代表性样本时，DoThisHere可能会减少专家用户的认知负担；特别是Query操作可以帮助用户减少任务完成时间。