PUMICE：一种从自然语言和演示中学习概念与条件语句的多模态智能体

自然语言编程是一种前景广阔的方法，使最终用户能够为智能体指令新任务。然而，我们的研究发现，最终用户在自然语言指令任务时常常使用不清晰、模糊或笼统的概念，尤其是在指定条件语句时。现有系统对于让用户教授智能体新概念或解释不清晰概念的支持有限。在本文中，我们描述了一种新的多模态领域无关方法，将自然语言编程与编程演示相结合，允许用户首先自然地高级描述任务及相关条件，然后通过对话和演示与智能体协作递归解决任何歧义或模糊之处。用户还可以通过演示现有移动应用GUI中的内容来定义新程序和概念。我们在PUMICE中展示了这种方法，这是一款实现该方法的最终用户可编程智能体。一项有10名用户参与的实验室研究显示了它的可用性。