剖析用户对搜索结果解释的需求

文献标题

Dissecting users’ needs for search result explanations

文献信息

• 主题领域: 人机交互（HCI）、信息检索、搜索引擎设计
• 关键词: 搜索结果解释, 用户体验, 透明度, 搜索引擎, 信息检索, 信任, 用户行为, 非技术用户, 可解释性, 设计建议

研究背景与问题

• 问题与挑战:

  • 搜索引擎普遍缺乏透明度，用户通常不知道搜索结果如何被筛选或排序，这导致了用户对搜索引擎运行机制产生错误认知（如认为可支付排名，超出广告域之外）。这种不透明性可能导致用户对搜索结果的信任下降，并削弱他们高效找到信息的能力。
  • 尽管有研究尝试通过提供搜索解释来提升用户体验，但这些工作往往重点关注“如何解释”，而非探讨“是否需要解释”以及“在何种情境下解释会带来好处”。

• 重要性:

  • 搜索引擎是用户获取信息的主要工具，在塑造用户认知方面有深远的影响。例如，搜索结果中的偏见有可能显著影响用户的决策，如政治偏好。
  • 提供更加透明的搜索引擎解释功能可提升用户的效率、信任度及对搜索结果可能偏见的认知。

• 研究动机与相关工作:

  • 现有研究关注于模型可解释性、推荐系统中的推荐解释或如何增强人工智能(AI)系统的透明度，但对用户在搜索情境中如何看待解释的研究仍然不足。
  • 研究目标是探讨非技术性的用户如何理解并需要搜索解释，以填补当前研究空白。

解决方案

• 研究方法:

  • 该研究通过两阶段方法展开：首先是在线调查，其次是针对非技术用户的半结构化访谈。
  • 研究问题（RQs）：
    1. 用户在何种情况下会质疑搜索结果？什么样的信息能帮助他们更好地评估？
    2. 在哪些搜索目标下，用户认为搜索结果的解释有用？解释带来的好处和用户需求的特性是什么？
    3. 用户如何感知 Google 和 Bing 提供的现有搜索结果解释？

• 创新之处:

  • 首次系统性地探讨用户对搜索结果解释的需求、实用性以及其在不同情境下的价值。
  • 将用户需求与现行的搜索引擎功能（如 Bing 和 Google 提供的解释工具）进行比较，生成改进设计的建议。

• 关键技术与实施步骤:

  1. 在线调查（初步筛选和需求调查）:
     • 目标群体为美国的“非技术性”用户，筛选标准包括年龄、使用搜索引擎的频率及对AI/信息检索的低到中级知识水平。
     • 引入 Rose 等人提出的搜索目标框架，用于分类并分析用户的搜索场景。
  2. 访谈（深入理解与验证）:
     • 通过语境查询任务，观察用户屏幕分享，记录用户在执行特定搜索目标时的行为与反馈。
     • 向用户展示现有搜索引擎解释功能，并采集他们的反应和改进建议。

研究成果

• 主要发现:

  1. 用户质疑搜索结果的情境:

     • 当出现与查询无关的结果、未知来源、广告或不适内容时用户常质疑结果。
     • 用户对搜索结果排序（如为何某结果排名靠前）也表现出好奇。

  2. 搜索解释的实际用途:

     • 用户在复杂或高风险任务（如健康查询、产品购买）中特别需要解释。
     • 对于简单的封闭性问题（如寻求明确的单一答案），用户认为解释没有必要。
     • 对复杂或开放性问题，解释被认为可帮助用户构建更好的信任、引导搜索方向或评估多样性与偏见。

  3. 现有搜索功能的用户感知:

     • Google 提供的解释被认为过于宽泛和显而易见；Bing 的网页预览功能更受欢迎。
     • 用户价值搜索结果的“反馈与可争议性”功能（如移除结果、提供反馈）。
     • 隐私和个性化设置对帮助用户调整搜索体验被欣赏，但探索性不足。

• 用户提出的功能需求与优先特性:

  1. 便捷与效率：解释应简洁易读，目的是辅助快速筛选和理解。
  2. 行动导向：用户期待解释能为他们提供明确的操作指导（如调整搜索结果顺序）。
  3. 可信度与来源指示：解释应可显示来源信息的权威性及可信性。
  4. 多样性指示：解释应揭示信息的多元视角或潜在偏见。

• 设计建议:

  • 增设搜索结果的分类与引导工具（如主题过滤器）。
  • 提供上下文信息以帮助用户改进搜索条款并优化查询。
  • 增强用户对搜索结果“问题与反馈”功能的可见性。
  • 结合用户偏好设计个性化、支持操作的解释界面。

• 实验结果与优势:

  • 与 Bing 和 Google 提供的现有功能相比，增强解释及功能透明度的设计可显著提高用户信任选引信度。
  • 研究揭示了改进目前搜索解释工具的潜在方向，如网页预览和多样化指示等特性。

• 局限性与未来方向:

  • 样本覆盖范围有限，主要为美国非技术背景用户，无法完全代表全球用户视角。
  • 未充分考虑AI语言模型的影响，尚需进一步研究它们如何改变用户对搜索解释的需求。
  • 强调在未来研究多样化背景的用户认知、个人化设置对解释需求的影响，以及验证不同解释格式（如图形化或交互式）的有效性。