ViseGPT: 实现 LLM 生成的数据整理脚本与用户提示的更好对齐

DOI

大型语言模型（LLM）能够根据自然语言指令快速生成数据整理脚本，但这些脚本可能无法完全满足用户指定的要求，需要仔细检查和迭代优化。现有方法主要帮助用户理解脚本逻辑并自行发现问题，而非提供直接正确性验证。为提升调试效率并优化用户体验，我们开发了 ViseGPT 工具，可自动从用户提示中提取约束条件，生成全面的测试用例以验证脚本可靠性。测试结果随后被转换为定制的甘特图，使用户能够直观地评估与语义需求的一致性并迭代优化脚本。我们的设计决策基于一项探索用户实践和挑战的探索性研究（N=8）。我们还通过用户研究（N=18）评估了 ViseGPT 的有效性和可用性。结果表明，ViseGPT 显著提升了 LLM 生成的数据整理脚本的调试效率，增强了用户检测和修正问题的能力，并简化了工作流程体验。