使用生成式AI创建和评估人物角色：对81篇文章的范围性综述

文献标题

Creating and Evaluating Personas Using Generative AI: A Scoping Review of 81 Articles

出版信息

• 主题领域: 生成式人工智能在HCI及相关领域中的角色开发应用。
• 关键词: 生成式人工智能, 角色, 大型语言模型, 用户中心设计, 评估, 偏见, 伦理考量, HCI, 多模态角色, 提示工程。

背景与问题

• 问题/挑战: 生成式人工智能（GenAI）在角色开发中的整合缺乏标准化、评估框架和伦理指南。存在偏见、减少人类监督以及方法学不一致的风险。
• 重要性: 角色在用户中心设计（UCD）中至关重要，用于代表用户需求，而GenAI提供了自动化和可扩展性的机会。然而，未经验证和存在偏见的角色可能导致错误的设计决策，损害包容性和可靠性。
• 动机与相关工作: 传统的角色开发资源密集且受限于手动流程。GenAI，特别是大型语言模型（LLMs），可以实现角色创建的自动化，但现有研究尚未系统性地综合GenAI的应用、评估或其伦理影响。

解决方案

• 提出的方法: 对81篇文章（2022–2025）进行范围综述，以绘制GenAI在角色开发中的应用图景，识别趋势、空白和伦理考量，并提出可操作的指南。
• 创新点:
  1. 全面分析GenAI在角色开发生命周期中的应用。
  2. 识别重复出现的挑战，包括偏见、缺乏评估以及减少人类参与。
  3. 制定用于伦理和严谨的GenAI角色开发的实用指南。
  4. 探索如多模态角色和交互式角色系统等新兴创新。
• 步骤和关键技术:
  1. 使用定制查询在五个数据库（ACMDL, IEEE Xplore, Web of Science, Scopus, arXiv）中进行文献检索。
  2. 根据预定义标准筛选并纳入81篇相关文献。
  3. 将文章按技术使用、评估方法和伦理考量等类别进行主题编码。
  4. 分析GenAI角色研究中的趋势、空白和创新。

结果

• 具体发现:
  • 86%的研究依赖OpenAI的GPT模型，LLM使用的多样性有限。
  • 45%的文章缺乏评估框架；仅27%使用LLMs进行评估。
  • 56.8%的文章讨论了伦理问题，其中偏见和表征问题最为常见。
  • 61.7%的研究共享资源（角色、代码、数据集），显示了可重复性的进展。
• 相较基线的优势:
  • GenAI加速了角色创建，支持多模态和交互式角色，并使角色开发更具普及性。
  • 创新包括多模态表征、角色扮演提示和自动化流程。
• 实验/评估:
  • 评估方法包括人为驱动评估（58.6%）、计算指标（20.7%）和与现实数据的基准测试（20.7%）。
  • 偏见、社会危害和减少人类监督等伦理问题尤为突出。
• 局限性与未来工作:
  • 跨文化普适性有限，且依赖单一LLM供应商。
  • 缺乏标准化的评估协议和参与式设计实践。
  • 未来研究应聚焦于偏见缓解、技术改进和验证框架。

总结

本范围综述研究了生成式人工智能在角色开发中的应用，分析了81篇文章中的趋势、空白和伦理挑战。尽管GenAI在自动化、多模态表征和资源共享方面提供了显著进步，但该领域仍存在方法学不一致、对单一LLM供应商的依赖以及有限的评估框架等问题。偏见和减少人类监督等伦理问题尤为突出。研究提出了应对这些问题的实用指南，强调多模型验证、结构化输出和人类监督。通过解决这些挑战，GenAI角色可以发展成为用户中心设计中强大且具有社会效益的工具。