通过基于嵌入的反馈循环学习定制化体验本体论

文献标题

Learning Custom Experience Ontologies via Embedding-based Feedback Loops

文献信息

• 主题领域: 人机交互、数字体验分析、机器学习自定义本体
• 关键词: UX研究, 可用性测试, 点击流分析, 桑基图, 序列对齐, 嵌入式反馈环路, 自定义本体, Web分析

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 现有的行为分析工具依赖大量手动标签标注和筛选以解释用户交互数据，这是一项耗时且繁琐的任务。
  • 现有研究中的机器学习方法基于固定的数字体验词汇表，无法轻松扩展或定制以适应不同组织的需求。
  • 在大组织中，不同团队间使用不同术语表达相似的用户意图，导致标签标准化的困难。

• 为什么这个问题很重要？

  • 数字体验分析是许多企业的关键部分，通过自动化模型改进标签标注流程可以显著降低时间成本，提高数据分析效能和准确性。
  • 标签的标准化和语义一致性对于数据的可信性、跨团队协作以及深入分析至关重要。

• 研究动机与相关工作

  • 作者希望开发一种能支持自定义在线体验语义的标签预测系统，以解决标签标准化和自动化定制化的难题。
  • 相关工作包括事件标注工具（如Google Tag Manager）的手动设置，以及预测设计语义的技术。虽然这些技术有所改进，但无法轻松扩展固定本体以支持定制需求。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了一种基于嵌入式反馈环路的新型交互模式，用于事件标签预测。
  • 采用通用的用户体验（UX）词嵌入来初始化标签预测，并允许用户通过交互式可视化反馈来纠正和定制预测。

• 该解决方案的创新之处是什么？

  • 系统通过反馈迭代增强矢量空间，允许组织定义和扩展自定义语义词汇（如标签），从而提高未来预测的质量。
  • 提供跨组织间语义标准化的能力，同时支持团队开发自己的自定义本体。

• 实施步骤是什么？使用了哪些关键技术？

  • 反馈环路组件:
    • 前端：捕获用户反馈，通过交互式桑基图展示用户导航路径及意图预测。
    • 后端：根据用户反馈更新嵌入空间，包括创建新的标签嵌入、调整矢量距离。
  • 嵌入空间初始化:
    • 使用语言模型（如GloVe）初始化通用标签嵌入。
    • 根据用户定义的标签和交互文本逐渐优化矢量空间。
  • 嵌入空间的动态调整:
    • 执行吸引和排斥操作以管理矢量间的语义距离。
    • 自适应性强，可以处理组织特定的术语及动态语言表述。

研究成果

• 取得了哪些具体成果？

  • 系统在真实环境中的部署展示了自动标注效率。用户可以定制标签并在未来的测试中使用自定义语义。
  • 作者通过两种行业的案例研究展示了系统的泛化能力，包括在电子商务网站和政府服务网站中的多轮测试中复现定制标签。

• 与现有解决方案相比，它有哪些优势？

  • 与固定词汇表的模型相比，嵌入式反馈环路允许动态扩展语义词汇。
  • 支持用户显式反馈和隐式反馈，大幅降低用户的认知负担。
  • 能够在多个行业和任务中泛化定制的标签预测逻辑。

• 实验或评估结果是什么？

  • 实验显示，在8个月内系统对15%的点击事件进行了自动标签预测，其中约42%的自定义标签成功在未来的预测中出现。
  • 通过案例研究验证少量用户定制反馈即可显著提高后续语义预测的质量。

• 局限性与未来方向

  • 局限性：
    • 当前系统仅基于交互文本进行意图预测，未考虑视觉元素或屏幕间时间序列关系。
    • 依赖单一语言模型（GloVe），可能影响语义预测的灵活性。
  • 未来方向：
    • 发展多模态嵌入空间，将视觉元素和时间上下文纳入预测框架。
    • 进一步扩大语言模型（如BERT或GPT-3）的应用，提高预测的语义表达能力。
    • 通过纵向研究深入了解组织和团队如何开发和标准化标签本体。