氛围检查：理解基于 LLM 的对话代理人格与对齐对目标导向任务中用户感知的影响

文献标题

Vibe Check: Understanding the Effects of LLM-Based Conversational Agents' Personality and Alignment on User Perceptions in Goal-Oriented Tasks

出版信息

• 主题领域: 人机交互，专注于对话代理的个性设计。
• 关键词: 大型语言模型，对话代理，个性匹配，用户感知，目标导向任务，五大人格特质，自适应校准，人机交互，个性提示，用户体验。

背景与问题

• 问题/挑战: 以往关于对话代理（CA）个性的研究主要集中在二元特质操控或极端个性表达上，缺乏对中等个性水平及其对用户感知影响的理解。此外，个性匹配通常被视为二元变量，而非连续变量，限制了对细微兼容性的洞察。
• 重要性: 随着基于大型语言模型的CA在教育、医疗和专业实践等领域的广泛应用，理解个性表达和匹配如何影响用户感知对于优化信任、采用率和可用性至关重要。
• 动机与相关研究: 早期研究表明用户能够感知CA的个性，并倾向于选择与自身特质相似的代理。然而，关于匹配效果的研究结果不一，同时对中等个性水平的探索有限，这些问题尚未解决，阻碍了对最佳个性设计及其提升用户体验作用的深入理解。

解决方案

• 提出的方法: 特质调节键（Trait Modulation Keys, TMK），一种模块化提示框架，可系统控制五大人格特质在低、中、高表达水平下的表现，而无需依赖基于角色背景的设定。
• 创新点:
  1. 引入TMK框架，实现对五大人格特质在多个表达水平（包括中等水平）的同步控制。
  2. 发现个性表达强度与用户感知之间的倒U型关系，中等表达水平优于极端表达。
  3. 确立个性匹配作为关键设计因素，揭示特质特定的影响及用户兼容性模式。
  4. 提供实证证据，证明个性表达和匹配对目标导向任务中的用户感知具有显著影响。
• 研究流程与关键技术:
  • 进行了一项3×1的被试间实验（N=150），使用具有三种个性配置（低、中、高）的旅行规划CA。
  • 测量用户在六个维度上的感知（智能性、愉悦性、拟人化、采用意图、信任度、喜爱度），并通过归一化欧几里得距离计算个性匹配分数。
  • 使用心理测量工具验证TMK在243种特质水平配置中的控制准确性。

结果

• 具体发现:
  • 中等个性CA在所有六个测量维度上均优于低个性CA，并在智能性和喜爱度上超过高个性CA。
  • 个性匹配与所有六个维度均呈正相关，其中外向性和情绪稳定性表现出最强的影响。
  • 个别特质的不匹配（如尽责性、外向性）对用户感知产生负面影响，而开放性影响较小。
  • 聚类分析识别了基于匹配模式的三类用户群体：匹配良好组、外向性不匹配组和全局不匹配组。
• 相较基线的优势:
  • 中等个性CA在所有测量维度上均优于低个性CA，并在智能性和喜爱度上超过高个性CA，揭示了个性表达效果的倒U型关系。
  • TMK在塑造目标个性配置方面实现了92.3%的准确率，提供了超越二元操控的细致控制。
• 实验/评估:
  • 参与者与文本型CA进行10分钟的纽约市旅行规划任务互动，完成子任务并在互动后对感知进行评分。
  • 验证测试确认了TMK在低、中、高个性水平下生成明确个性配置的可靠性。
• 局限性与未来工作:
  • 由于样本人口统计特征（美国成年人，母语为英语），研究结果的普适性有限。
  • 研究集中于旅行规划任务，其他领域的效果尚未探索。
  • 互动时间较短，限制了对长期用户感知的洞察。
  • 中等个性水平的控制精度较低，提示框架仍有改进空间。

总结

本研究开发了特质调节键（TMK）框架，用于系统控制基于大型语言模型的对话代理的个性表达，发现中等个性水平在智能性、愉悦性、拟人化、采用意图、信任度和喜爱度方面优化了用户感知。个性匹配进一步增强了结果，其中外向性和情绪稳定性是关键特质。研究结果强调了在CA设计中进行自适应校准和特质优先排序的重要性，为创建兼顾可用性和伦理考虑的个性化系统提供了可操作的见解。未来研究应探索个性影响在不同领域、文化和长期交互中的表现。