超越精确度：算法准确性与透明度对关键词驱动情境广告用户感知的影响研究

文献标题

Beyond Precision: Understanding the Impact of Algorithmic Accuracy and Transparency on User Perceptions in Keyword-Driven Contextual Advertising

出版信息

• 主题领域: 算法驱动的上下文广告中用户感知与行为结果。
• 关键词: 上下文广告、关键词提取、用户感知、透明性、行为意图、TF-IDF、KeyBERT、DeepSeek、算法解释、广告相关性。

背景与问题

• 问题与挑战: 当前对关键词提取算法的评估主要集中在精度和准确性基准上，但这些指标如何转化为用户感知、广告效果和行为意图尚不明确。此外，透明性在影响用户对上下文广告态度中的作用仍未得到充分探索。
• 重要性: 理解用户感知对于设计有效且符合伦理的上下文广告系统至关重要，尤其是在隐私敏感和受监管的环境中。
• 动机与相关研究: 以往研究主要关注算法性能与黄金标准数据集的对比，忽略了以用户为中心的评估。透明性法规（如《数字服务法案》）要求平台披露定位逻辑，但此类披露对用户感知和参与的影响尚不清楚。本文通过研究算法方法、透明性与用户响应之间的相互作用来填补这一空白。

解决方案

• 提出的方法: 本研究通过比较三种关键词提取方法（TF-IDF、KeyBERT、DeepSeek），并分析通过关键词解释实现的透明性对用户感知和行为意图的影响。
• 创新点:
  1. 展示了算法基准性能与用户对相关性的感知之间的不一致性。
  2. 探讨了透明性的双重影响，发现解释提高了感知相关性，但降低了广告兴趣和行为意图。
  3. 提供了优化算法选择和解释设计以实现用户中心化结果的实用见解。
• 研究流程与关键技术:
  • 通过在线实验，邀请498名参与者评估由不同关键词提取方法生成的广告与文章配对。
  • 通过显示或隐藏提取的关键词操控透明性。
  • 使用问卷调查方法测量感知相关性、行为意图以及广告/文章兴趣。
  • 采用结构方程模型（SEM）分析直接、间接和调节效应。

结果

• 具体发现:
  • 在没有解释的情况下，简单方法（TF-IDF、KeyBERT）在感知相关性上优于更复杂的DeepSeek，尽管DeepSeek在基准性能上表现更优。
  • 提供解释提高了感知相关性（例如，β = 0.789，p < 0.001，针对黄金标准），但降低了行为意图（β = −0.303）。
  • 在提供解释的条件下，DeepSeek的感知相关性提升幅度最大，优于简单方法。
• 相较基线的优势:
  • 所有算法方法（TF-IDF、KeyBERT、DeepSeek）在感知相关性上均优于随机基线。
  • DeepSeek在基准指标上持续优于TF-IDF和KeyBERT（例如，F1@10：DeepSeek = 0.147，TF-IDF = 0.092，KeyBERT = 0.014）。
• 实验与评估:
  • 参与者评估了由五种方法（黄金标准、TF-IDF、KeyBERT、DeepSeek、随机）生成的广告与文章配对。
  • 依变量包括感知相关性、行为意图以及广告/文章兴趣，采用7点Likert量表测量。
  • 解释在参与者间进行操控，其中227名参与者看到关键词，278名未看到关键词。
• 局限性与未来工作:
  • 研究仅聚焦于三种关键词提取方法和五个广告，限制了结果的普适性。
  • 未控制参与者对广告的先前态度。
  • 未来研究可探索更多算法、解释设计以及跨文化样本。

总结

本研究探讨了关键词提取方法和透明性对上下文广告中用户感知与行为意图的影响。研究发现，在没有解释的情况下，简单方法（TF-IDF、KeyBERT）在感知相关性上优于更复杂的DeepSeek，尽管DeepSeek在基准性能上表现更优。通过关键词解释实现的透明性提高了感知相关性，但降低了广告兴趣和行为意图，突显了解释的复杂作用。研究结果强调了将算法性能与用户中心化评估相结合的重要性，并建议解释设计应在透明性与用户参与之间取得平衡。这些洞见对优化隐私敏感和受监管环境中的上下文广告系统具有重要意义。