面向在线新闻的问答聊天机器人设计：理解问题和视角

文献标题

Towards Designing a Question-Answering Chatbot for Online News: Understanding Questions and Perspectives

文献信息

• 主题领域: 人机交互 (HCI)、问答系统、大型语言模型 (LLMs)
• 关键词: 在线新闻, 聊天机器人, 问答系统, 大型语言模型, 用户行为分析, 读者互动, 新闻可信度, 新闻推荐, 人机互动, 新闻伦理

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 读者在阅读新闻后，经常还有疑问，并利用评论区、邮件和社交媒体等方式向记者提问。但由于问题过多、时间有限、缺乏直接激励等原因，记者难以全面回应。
  2. 当前新闻机构尽管对使用聊天机器人和人工智能技术表达了兴趣，但对于怎样构建一个符合记者与读者需求的问答聊天机器人缺乏系统性的设计。
  3. 现有聊天机器人和新闻互动技术主要聚焦于新闻分发与推荐，而不擅长处理开放性问答，尤其涉及主观问题。

• 为什么这个问题很重要？

  • 与读者进行对话型互动有助于构建信任，提升新闻内容的吸引力。
  • LLMs 的崛起为建设智能聊天机器人开辟了可能性，但其局限（如幻觉生成、不准确回答）可能带来伦理问题，需深入探讨。
  • 读者和记者对聊天机器人的功能需求可能不同，忽视这些差异可能导致不匹配的设计。

• 研究动机与相关工作

  • 动机：通过构建用户友好的问答（QA）聊天机器人来满足新闻行业中的互动需求，同时减轻记者回答重复性问题的负担。
  • 相关工作：探讨了用户对聊天机器人的期望、新闻行业的读者互动演变，以及 NLP 问答技术的发展。

解决方案

• 作者提出了哪些方法或解决方案？

  1. 对六名记者进行半结构化访谈，以理解记者当前的读者互动实践、挑战，以及对聊天机器人的看法。
  2. 在 Amazon Mechanical Turk 上开展了一项在线实验（N=124），分析读者针对新闻的提问模式，并比较他们与记者以及聊天机器人的互动差异。
  3. 基于访谈和实验结果，提出了一个面向新闻行业问答机器人设计的框架。

• 该解决方案的创新之处是什么？

  1. 从记者和读者双方角度对问答聊天机器人的功能进行了双向考察。
  2. 提出了一种结合新闻机构要求、用户需求、当前技术能力和法律法规的设计框架，这在新闻 AI 领域尚属首次。
  3. 系统性分析了问答内容分类（如事实性问题、主观性问题）及提问者行为的复杂性。

• 实施步骤

  1. 访谈研究：记录并主题分析记者与读者交互的现状，发现记者对机器人主要需求是回答“事实性”和“重复性”问题，以节省时间。
  2. 实验研究：让参与者阅读来自健康、政治和环境领域的新闻，分别向新闻作者或机器人提问，并对问题的类型、复杂性和内容进行分类分析。
  3. 框架构建：结合记者和读者的观点，探讨问答机器人各模块功能的可行性与设计原则。

研究成果

• 取得了哪些具体成果？

  1. 记者的需求：希望机器人回答简单事实性或重复性的读者问题，但不愿意机器人代替直接交流，特别是涉及主观性解释的问题。
  2. 读者的行为模式：读者倾向于向聊天机器人提问短小的事实性问题，而向作者提问更复杂的主观性或多维度问题。
  3. 提问模式分类为七类，包括事实、细节、证据、封闭式问题、主观意见、解释以及其他问题。

• 与现有解决方案相比，它有哪些优势？

  • 对记者和读者的功能需求进行了广泛的双向分析，比传统技术更关注交互中的需求匹配问题。
  • 提出了一种基于分类和路由策略的设计框架，从功能上确保了聊天机器人的合规性和实用性。

• 实验或评估结果是什么？

  1. 读者提出的问题主要集中于两大类：信息获取（包括事实、细节）和主观解释（意见、解释）。
  2. 当新闻质量较低时，读者更倾向于对作者提出批评性问题，但面对机器人时批评性显著减少。
  3. Bloom's Taxonomy 复杂性分析显示，读者提问作者问题的复杂性（平均得分为2.58）显著高于机器人（1.86）。

• 局限性与未来方向

  1. 局限性：
     • 机器人实验未提供实时回应，可能无法完全反映读者的实际互动行为。
     • 仅研究了有限的新闻主题，未来应扩展至更多类型（如突发新闻、调查性新闻）。
  2. 未来方向：
     • 开发具备问答功能的原型聊天机器人并展开交互研究。
     • 研究各类 LLM（如 GPT 和 LLaMa）的问答表现，以评估技术的适用性。
     • 探讨不同读者群体（如年龄、文化背景）的需求差异。