基于应用的任务快捷方式 for 虚拟助手

文献标题

App-Based Task Shortcuts for Virtual Assistants

文献信息

• 主题领域: 人机交互与虚拟助手技术
• 关键词: 虚拟助手, 移动应用, 交互挖掘, 任务快捷方式, 用户界面, 意图建模, 人机交互, 智能自动化, 深度链接, 任务匹配
• 会议: The 34th Annual ACM Symposium on User Interface Software and Technology (UIST ‘21)
• 发布日期: 2021年10月
• DOI: https://doi.org/10.1145/3472749.3474808

研究背景与问题

• 问题或挑战:

  • 当前的虚拟助手技术（如Google Assistant和Siri）的功能有限，主要依赖于开发者手动暴露应用程序功能来扩展其技能集（例如Android的App Actions或iOS的Shortcuts）。
  • 这种手动配置需要开发者投入额外的开发工作，但许多应用程序没有针对特定任务自动支持的机制。
  • 虽然虚拟助手可以通过现有的程序化配置支持某些任务，但这种方法并未覆盖广泛的用户任务，且实现过程复杂。

• 重要性:

  • 虚拟助手与应用的深度集成能够大幅简化终端用户完成任务的方式。
  • 自动化地扩展虚拟助手对更多用户任务的支持，有助于提升用户体验和实现技术普惠性。

• 研究动机与相关工作:

  • 当前的解决方案（如深度链接和基于编程示例（PBD）的任务自动化）都要求开发者做额外的努力进行功能暴露，而用户并不能直接受益于这些技术。
  • 作者从“交互挖掘”（interaction mining）入手，试图通过分析移动应用的用户界面和交互记录，自动生成任务快捷方式，减少开发者干预，弥补当前虚拟助手技术的不足。

解决方案

• 提出的系统: savant系统

  • 该系统能基于用户的自然语言任务描述（如“给Joe汇款”），自动将任务映射至移动应用中对应的界面，从而生成任务快捷方式。
  • 使用基于用户界面的语义信息和Google Play元数据进行任务匹配，并通过意图建模解析任务中的参数。

• 创新点:

  • 自动化快捷方式生成: 无需开发者额外参与，savant系统可以自动生成虚拟助手可用的任务快捷方式。
  • 语义匹配: 使用UI元素（如按钮、图标等）与任务描述进行语义匹配，同时结合应用商店描述改进搜索结果。
  • 支持未标注数据集: 通过交互记录上的无监督学习，寻找与用户任务最匹配的应用界面。
  • 任务填充与自动导航: 利用Dialogflow实现槽值填充，将用户任务中的参数自动输入到目标应用的界面元素中，支持自动交互回放。

• 实施步骤与技术:

  1. 用于快捷方式生成的屏幕表示计算: 提取交互记录中的UI元素语义信息并生成屏幕语义表示。
  2. 任务快捷方式生成: 使用云搜索服务（AWS CloudSearch）匹配用户任务与屏幕语义表示。
  3. 快捷方式使用: 利用Android的系统级权限启动任务相关的应用界面，并在需要时回放交互路径。
  4. 槽值填充与意图建模: 通过Dialogflow解析用户任务描述中的意图和实体，并自动填充UI组件值。
  5. 基础构建: 使用Python脚本进行数据预处理，采用Kotlin实现Android应用与系统权限交互。

研究成果

• 具体成果:

  • 通过实验，验证了savant系统可以将用户任务与相关应用界面进行有效匹配，提供虚拟助手无法直接完成的任务支持。
  • 通过对66,000个UI屏幕的任务快捷方式生成，savant在用户任务的前3个快捷方式上的平均精确度达到了70.1%。

• 实验与评估:

  • 任务识别研究:
    • 在24人的用户调研中，定义了常见的20类任务集（例如发送信息、订外卖、读书等）。
    • 选取每类任务中最常见的任务作为代表任务。
  • 任务相关性测试:
    • 评估了代表任务的TOP-3搜索结果，系统在五种任务中达到了100%的精准度（如“发送资金”、“拍摄照片”）。

• 优势比较:

  • 与手动配置的深度链接方法相比，savant系统显著降低了开发者的参与成本。
  • 不同于传统的任务自动化系统，如Sugilite和PUMICE，savant更注重任务快捷方式的发现而非交互流程的广义学习。

• 局限性与未来方向:

  • 对某些任务（如“发帖照片”）的结果相关性较低，表明关键词匹配算法仍需改进用于区分动词和名词。
  • 现有系统依赖于Android生态，未来需要扩展到其他平台（如iOS）以及智能电视等设备。
  • 在隐私和安全保护方面，需要进一步考虑如何更好地处理用户与应用交互过程中生成的数据痕迹，例如个人标识信息（PII）的自动清理问题。