SHAPE-IT：探索基于LLM的生成式变形行为的文本到形状显示

视频

DOI

本文介绍了文本到形状显示，这是一种通过自然语言命令在针式形状显示器上生成动态形状变化的新方法。通过利用大语言模型（LLM）和AI链接，我们的方法允许用户通过文本提示无需编程即可按需创作形状变化行为。我们描述了构建这样一个系统所需的基础方面，包括识别关键的生成元素（基元、动画和交互）以及增强用户交互的设计要求，这基于探索性研究和迭代设计过程。基于这些见解，我们开发了SHAPE-IT，这是一个基于LLM的24 x 24形状显示器创作工具，可将用户的文本命令转换为可执行代码，并允许通过基于Web的控制界面进行快速探索。我们通过两种方式评估SHAPE-IT的有效性：1）性能评估和2）用户评估（N=10）。研究结论强调了使用AI快速构思各种形状变化行为的能力。然而，研究结果也揭示了与准确性相关的挑战和局限性，促使我们进一步探索完善框架，以更好地满足形状变化系统的独特要求。