自动接单系统中的问题诊断与优先级排序：一种机器辅助的错误发现方法

研究背景与问题

• 作者发现的问题或挑战： 自动化订单处理系统，如IBM watsonx Orders，在与客户互动时常发生语音识别（ASR）、自然语言理解（NLU）和生成模块（NLG）的错误。这些问题可能导致对话误解，进而影响关键绩效指标（KPIs），例如自动化率、升级率（订单由人工处理的比例）、对话效率和客户体验。然而，查找这些错误的根本原因需要团队手动检查和解释海量数据，代价高昂且耗时。

• 问题的重要性： 在快速服务餐饮领域，高效率的语音交互系统对提升客户体验和业务盈利能力至关重要。即使少量的错误也可能对KPIs产生显著影响，从而损害系统的表现和客户满意度。

• 研究动机与相关工作： 当前文献中，许多研究专注于改进对话AI的设计和开发，但较少涉及到部署中的错误诊断和维护。已有的一些方法（如置信度评估或修复机制）仅能处理显性或实时错误，而对历史数据中难以检测的潜在错误无法有效诊断。此外，大规模多模态数据的分析工具在表达错误对KPIs的整体影响上存在不足。

解决方案

• 提出的方法或解决方案： 作者开发并展示了一个交互式工具DTTool，用于在自动化订单处理系统中帮助发现、诊断和优先级排序错误。DTTool结合了人工和机器的能力来高效地发现高影响错误，减少了人工分析的工作量。

• 创新之处：

  1. 利用机器学习算法对会话日志和语音数据进行自动分析和注释，标记可能影响KPIs的异常事件。
  2. 引入基于会话分析（Conversation Analysis）的图形用户界面（GUI），支持人类对日志和音频的高效回溯和根因分析。
  3. 设计了一个通用且数据模式无关的数据模型，可以扩展至其他对话AI应用。
  4. 通过总结页面（Summary Page），提供“自上而下”的探索视角，帮助分析人员快速聚焦于关键错误。

• 实施步骤与关键技术：

  1. 离线分析：比较生产模型和离线语音识别模型（具更低错误率但非实时）的输出，标记有差异的内容，并进行与KPI的统计相关性分析，仅保留与KPI强相关的异常。
  2. 数据建模：将会话和事件以通用数据结构存储，包括会话日志、系统生成注释及用户注释。
  3. 用户界面：提供多页面的用户界面支持不同任务，包括单会话分析页面、多会话的全球视图页面，以及支持音频纹谱和对话可视化的功能。
  4. 结果导出与API支持：通过与Python脚本集成，支持数据科学家进一步深入分析。

研究成果

• 具体成果：

  1. 作者实现了DTTool，并在多轮用户评估中验证其性能和有效性。
  2. DTTool已被部署在IBM的Data Triage团队，帮助发现隐藏错误，生成帮助开发团队修复系统的问题单。
  3. 工具成功发现了除语音识别错误以外的一般性错误（例如自然语言生成的问题）。

• 与现有方法的比较与优势： DTTool显著减少了查找历史日志中隐藏错误的必要人工操作；错误注释机制和总结页面显著改善了Error Discovery的效率。同时，系统不仅能诊断单一会话的错误，还能评估错误在KPIs上的整体影响。

• 实验与评估结果：

  1. 在初步用户研究中，用户认为错误注释和类似片段搜索对发现错误有很大帮助。
  2. 二次迭代中，添加总结页面后用户采用了“自上而下”的错误分析方法，显著加速了错误发现。
  3. 使用工具的一段时间里，Data Triage团队通过该工具识别了28个高影响错误，并将其分配优先级以修复。

• 局限性与未来方向：

  1. 当前工具的分析主要集中于语音识别错误，未来扩展到更通用的对话AI模型错误是重要方向。
  2. 需要进一步扩展工具以支持其他KPI，如订单完成时间和支付窗口变更。
  3. 探索将工具应用到更广泛的对话AI系统中如其他语音助手或智能客服。

总结来说，DTTool显著提高了自动化订单处理对话系统的错误诊断效率，不仅对行业实践有很大价值，还为人-机协作工具的设计提供了新思路与启示。