驯服人工智能猫：从提示GPT-3设计聊天机器人中汲取的教训

提示大型语言模型（LLMs）是设计聊天机器人的一种令人兴奋的新方法。但它是否能可靠地改进LLM的用户体验（UX）以支撑聊天机器人产品？我们仅通过提示GPT-3/4设计一个稳健聊天机器人的尝试表明：目前还不行。提示使得实现“80%”的用户体验目标很容易，但剩余的20%却很难。修复剩余的少量交互故障就像是“驯猫”：我们无法一次解决一个用户体验问题或测试一个设计解决方案；相反，我们必须一次处理所有地方的所有事情。此外，由于没有任何提示能让GPT在应该时说“我不知道”，用户-GPT对话在故障发生后没有防护措施，往往导致用户体验的 downward spirals。这些风险促使我们设计高度规定性的提示和脚本化机器人，这与LLM驱动的聊天机器人的承诺背道而驰。本文描述了这个案例研究，揭示了提示的善变及其对用户体验设计流程的影响，并讨论了基于LLM的设计方法和工具的含义。