使用大语言模型从游戏评论中挖掘玩家体验趋势

文献标题

Mining Player Experience Trends From Game Reviews Using Large Language Models

出版信息

• 主题领域: 使用计算方法分析电子游戏中的玩家体验趋势。
• 关键词: 玩家体验、游戏评论、大型语言模型、语义相似性、情感挑战、怀旧、意义、无聊、纵向趋势。

背景与问题

• 问题/挑战: 现有研究玩家体验的方法依赖问卷调查，这种方法受样本规模限制且缺乏纵向数据。尽管游戏评论提供了丰富的数据来源，但此前分析方法较为初级或依赖人工处理，限制了对玩家体验的深入洞察。
• 重要性: 理解玩家体验趋势可以为游戏设计提供指导，提高玩家满意度，并揭示游戏作为一种艺术形式的演变。
• 动机与相关研究: 之前的研究使用情感分析和主题建模处理游戏评论，但缺乏将评论与既定玩家体验构建相映射的深度。近期LLM的进展为通过自由文本预测问卷回答提供了新的可能性，从而弥补这一空白。

解决方案

• 提出的方法: 一种基于LLM文本嵌入的新方法，将游戏评论映射到玩家体验问卷项目，实现玩家体验的可扩展和纵向分析。
• 创新点:
  1. 首次利用LLM嵌入进行大规模分析，将游戏评论映射到玩家体验构建。
  2. 识别玩家体验的纵向趋势（如情感挑战、怀旧）。
  3. 引入一种可扩展的方法，用于发现特定体验的参考游戏。
  4. 通过相关性分析将玩家体验构建与评论评分联系起来。
• 流程与关键技术:
  • 使用OpenAI的text-embedding-3-large模型计算评论与问卷项目之间的语义相似性。
  • 应用阈值法识别与特定体验构建强相关的评论。
  • 通过分析超过阈值的评论比例、按类型和游戏的细分，以及定性内容分析，研究趋势。
  • 将评论评分与体验构建相关联，识别游戏设计的优先事项。

结果

• 具体发现:
  • 情感挑战、意义、怀旧和视听吸引力呈上升趋势。
  • 评论中无聊感增加，通常归因于糟糕的写作、重复的游戏玩法和质量较差的续作。
  • 评论评分与体验构建之间的相关性包括：快乐（r = 0.53）、掌控感（r = 0.40）、视听吸引力（r = 0.39）。
• 相较基线的优势: 基于嵌入的方法比之前的人工或初级NLP方法更具可扩展性和细节性，能够实现玩家体验的纵向和多维分析。
• 实验/评估:
  • 数据集: 来自Metacritic的152,143条用户评论（2010–2024）。
  • 评估指标: 语义相似性、超过阈值的评论比例、皮尔逊相关性。
  • 验证: 人工编码的评论与问卷项目一致性显示与基于嵌入的相似性具有中到强的相关性。
• 局限性与未来工作:
  • 趋势反映的是评论话语而非直接的玩家体验。
  • 评论质量和简短性可能引入噪声。
  • 未来工作可包括专家评论、其他问卷和社交媒体数据，以及与真实数据集的改进验证。

总结

本研究提出了一种基于LLM嵌入的方法，将游戏评论映射到问卷构建，从而分析玩家体验趋势。主要发现包括情感挑战、意义和怀旧的上升趋势，以及无聊感的增加。相关性分析揭示了与高评论评分相关的体验（如快乐、掌控感），为游戏开发者提供了可操作的洞察。该方法还支持发现特定体验的参考游戏。尽管存在局限性，该方法为未来关于玩家体验纵向和多维分析的研究奠定了基础。