GenFaceUI：智能体生成个性化面部表情界面的元设计

文献标题

GenFaceUI: Meta-Design of Generative Personalized Facial Expression Interfaces for Intelligent Agents

出版信息

• 主题领域: 面向智能代理的生成式面部表情界面
• 关键词: 生成式用户界面，面部表情界面，智能代理，元设计，大型语言模型，个性化，情境表达，设计工具，人机协作，表达行为

背景与问题

• 问题/挑战: 现有的面部表情界面在适应性、表达性和情境契合度方面存在局限性。它们通常依赖于预定义模板或狭义的机器学习模型，这限制了其在运行时生成动态、个性化和情境敏感表达的能力。
• 意义: 生成式面部表情界面可以通过实现动态和个性化的交互，提升智能代理的可用性、参与度和可信度。然而，在这些界面中实现对设计意图的控制、一致性和契合性仍然是一个挑战。
• 动机与相关工作: 以往的研究探索了静态模板、机器学习模型和基于LLM的表情生成，但这些方法缺乏用于运行时生成的综合框架以及支持设计师塑造生成空间的工具。本文基于生成式用户界面的新兴范式，提出了一个元设计框架以填补这一空白。

解决方案

• 提出的方法: 生成式个性化面部表情界面（GPFEI）框架及其在GenFaceUI工具中的实现。
• 创新点:
  1. 引入GPFEI框架，整合了规则约束的设计空间、角色身份和情境驱动的变化。
  2. 开发了GenFaceUI，一个用于创建和测试生成式面部表情界面的概念验证元设计工具。
  3. 通过设计师参与的定性研究，提供了关于元设计实践的挑战和机遇的经验见解。
• 流程与关键技术:
  • GPFEI框架将面部表情生成结构化为四个组成部分：个性化面部生成、情境面部表情、情境映射和元设计。
  • GenFaceUI通过两种模式（设计和测试）和五个组件（面部模板画布、语义标签编辑器、设计规则编辑器、情境映射规则编辑器、运行时表情模拟器）实现了该框架。
  • 设计师通过结构化提示和可视化编辑工具迭代地创作模板、定义规则并模拟输出。

结果

• 具体发现:
  • 参与者在三项设计任务中生成了268个测试面孔，创作了123条规则，并创建了236个界面元素。
  • 设计师感受到在视觉一致性和创意支持方面的提升，但指出在表达性、可预测性和细粒度控制方面存在局限性。
• 相较基线的优势:
  • 与传统的基于模板或参数驱动的方法相比，GenFaceUI在生成输出的个性化、情境适应性和基于规则的控制方面表现出更大的优势。
• 实验/评估:
  • 对12位设计师进行的定性研究，探索了他们在使用GenFaceUI完成三项任务（设计聊天机器人面孔、定制服务机器人、创建虚拟AI伴侣）时的体验。
  • 数据来源包括系统日志、访谈和边做边想反思，采用主题编码进行分析。
• 局限性与未来工作:
  • 局限性包括缺乏时间连续性、多模态协调和细粒度的专业控制。
  • 未来工作将集中于增强表达能力、改进专业设计支持，并将GenFaceUI发展为一个协作环境。

总结

本文提出了GPFEI框架和GenFaceUI工具，以应对智能代理生成式面部表情界面中的挑战。该框架结构化了设计时规范和运行时变化，而GenFaceUI使设计师能够迭代地创作模板、定义规则并测试输出。通过对12位设计师的定性研究，展示了在可控性和创意支持方面的提升，同时也指出了在表达丰富性、可预测性和专业级控制方面的需求。此项工作推进了生成式界面中元设计的理解，并为未来在智能代理中的研究和应用指明了方向。