Shape n' Swarm：基于 Swarm UI 和 LLM 的动手式hape感知生成式创作工具

DOI

本文提出了一种面向群体用户界面的新型创作方法，该方法结合了动手式形状操作和语音交互来传达生成式运动和交互意图。我们将这种创作方法称为形状感知生成式创作，该方法可推广到可驱动的实体用户界面。概念验证工具 Shape n’ Swarm 允许用户通过手动布置桌面机器人并提供语音指令来创建多样化的动画和交互。系统采用多个脚本生成式 LLM 智能体协同工作，处理三类主要生成任务的用户输入：（1）对用户创建的形状进行主题解读；（2）为操作后的形状创建动画；（3）通过 I/O 映射灵活构建交互。在用户研究（n=11）中，参与者无需编码即可轻松创建多样化的物理动画和交互。为引领这一新兴研究领域，我们还分享了局限性、研究挑战和设计建议。