Patchview：基于生成式尘埃与磁铁可视化的大型语言模型驱动世界构建系统

视频

DOI

大型语言模型可以通过生成世界元素（如派系、角色和地点）来帮助作家构建故事世界。然而，理解大量生成元素可能令人不知所措。此外，如果用户想精确控制生成元素的某些难以口头描述的方面，仅靠提示可能不够。我们推出了Patchview，这是一个可定制的大型语言模型驱动系统，通过允许用户通过磁铁和尘埃的物理隐喻与故事概念和元素交互，从视觉上辅助世界构建。Patchview中的元素在视觉上被拖拽到与高相关性概念附近，以促进理解。用户还可以通过指示元素在概念之间的期望位置来引导使用口头难以描述的概念进行生成。当用户不同意大型语言模型的可视化和生成时，他们可以通过重新定位元素来纠正。这些纠正可用于调整大型语言模型的未来行为。通过用户研究，我们展示了Patchview支持世界元素的理解和元素生成的引导，促进了世界构建过程中的探索。Patchview提供了关于可定制视觉表示如何帮助理解、引导和将生成式人工智能模型行为与用户意图对齐的见解。