探索模块化提示设计在情绪和心理健康识别中的应用

研究背景与问题

• 发现的问题或挑战
  作者指出，在使用大型语言模型(LLM)进行情感和心理健康状态分类的任务中，提示设计至关重要。然而，现有研究中缺乏对提示设计空间以及每个组件影响的系统化分析。这导致现有的方法碎片化，使得标准化评估和提示设计的复现性面临挑战。
  另外，开发者在优化提示以提升系统性能时面临巨大困难，这主要是由于设计空间的复杂性和LLM行为的不确定性。

• 为什么重要
  情感和心理健康分析任务在敏感领域中有广泛应用，例如心理咨询、情绪记录和危险信号检测。这些任务对于提升公共健康服务的质量和辅助专家决策具有重大意义。然而，性能的显著变化通常依赖于提示设计，这直接影响任务的准确性和可靠性。

• 研究动机与相关工作
  研究的动机是填补分析LLM的提示设计空间的理论和实践间的空白，并提供系统、模块化的提示设计框架，以促进透明性和复现性。相关工作涵盖了提示优化技术(如链式思维和在上下文学习)，以及情感导向的LLM提示策略的探索。

解决方案

• 提出的方法或解决方案
  作者提出了一种模块化提示设计方法，旨在将提示分解为六个关键组件：Persona（人格角色）、Task Instruction（任务指令）、N-shot样例、Input（输入）、Output（输出）和Template（模板）。这种模块化设计为系统化评估和优化提示提供了框架。

• 该解决方案的创新之处

  • 提供了清晰的提示组件划分，便于设计者理解和调整各组件对任务性能的影响。
  • 在任务指令中构建了三个不同的风格（清晰直接、情感描述、技术分析）供对比评估。
  • 第一个系统性框架能够细化组件之间的交互和性能影响，并促进提示的灵活性和复用性。

• 实施步骤与关键技术

  1. 文献分析: 从30篇既有研究中提取提示示例并进行主题分析（Thematic Analysis），以识别关键组件。
  2. 模块化设计: 将提取的提示分解为六大模块，为后续系统化评估做好准备。
  3. 组件评估: 实验选用了两个模块（Persona与Task Instruction），并基于5个数据集和4个LLMs模型系统评估其性能差异。
  4. 组件交互分析: 探讨Persona与Task Instruction的协同作用，通过对比不同配置组合评估性能影响。

研究成果

• 具体成果

  • Persona组件的影响：大模型（如GPT-4o）在使用Persona后显著提升性能，尤其在处理复杂心理健康分类任务中表现更好。小模型如Mistral-7B表现不稳定。
  • Task Instruction组件的影响：清晰直接的指令对简单任务（如二分类）具有更好的提升效果，而情感描述风格在复杂任务（如自杀风险评估）上表现更加出色。
  • 交互影响分析：尽管Persona和Task Instruction单独提升了模型性能，但它们的组合并不总是可以进一步提升性能，有时可能出现相互抵消的现象。

• 与现有解决方案的比较与优势

  • 为敏感领域提供了模块化、灵活的提示设计框架，是现有碎片化方法的一次显著改进。
  • 实现了提示优化流程的标准化和复用性。
  • 提供了详细的组件影响分析，有助于指导任务设计者根据实际应用做出最佳选择。

• 实验或评估结果

  • 模块化提示设计在多个情感和心理健康任务中显著提升了LLMs的分类性能，并揭示了单独组件和组合组件的具体性能表现。
  • GPT-4o模型在大多数数据集中表现出较优的准确率和F1宏平均分数，证明了模块化提示设计的实用性。

• 局限性与未来方向

  • 未能全面评估所有模块及其可能的所有组合，后续研究需探讨更复杂的组件交互影响。
  • 开源模型可能因为训练数据集包含测试数据而导致结果偏移，后续研究需加强去重检验以确保数据集的独立性。
  • 可扩展的自动化提示优化工具尚未开发，未来可结合模块化设计提升效率和适配性。

通过模块化提示设计框架的系统分析和部署，作者为情感和心理健康任务的提示优化提供了一条可行的路径，并为进一步探索提示机制的优化方向奠定了基础。