弥合差距:大型语言模型作为能力问题实例化的脚手架

大语言模型(LLM)的人机协作可解释人工智能(XAI)知识图谱与语义搜索大学教授与研究人员HCI 研究员数据科学家与分析师

知识图谱(KG)是数字人文领域表示信息的强大方式。然而,非技术用户在探索初期往往举步维艰,这一挑战被称为初始探索问题。Tús Maith框架通过精心策划的自然语言问答(CuQAs)来解决这个问题,这些问答由能力问题(CQs)创建,旨在传达知识图谱的范围并提供有意义的入口点。虽然先前的工作已探索使用大型语言模型(LLM)进行CQ模板生成,但模板填充步骤——即用实体信息实例化问答——仍然是一个关键挑战。在本文中,我们评估LLM是否有能力在这个阶段支持领域专家,专注于爱尔兰虚拟财政部(VRTI)知识图谱,其中准确性、来源性和鲁棒性对实际使用至关重要。使用从流行搜索词和专家编写的模板派生的结构化JSON输入,我们在两种来源条件(基本与完整)下跨四个LLM(GPT-5、DeepSeek-V3.1、 Gemini 2.0 Flash、Qwen-2.5-72B)生成了并评估了24,900个问答对。我们的评估考虑槽位保真度、语义相似性、完整性、幻觉率和运行效率,对每个LLM的每次运行进行统计检验,并进行额外的批次级分析(n = 68)以分离来源要求效应。我们进一步表明,轻量级JSON验证检查是事实性问答对地面真实语义评估的有效代理。这些LLM生成、经验证的问答构成了从抽象CQ模板到填充问答的生命周期中间步骤,由VRTI知识图谱的领域专家(历史学家)审阅和细化,以生成最终面向用户的问答(CuQAs)。为了展示实际影响,我们展示了Tús Maith框架的原型(TMv1),并强调了面向策展人界面的设计含义:来源透明交互、验证集成工作流程和性能透明模型选择。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/iui/226575/2026

广告推荐

学习 AI 编程到 CodeNow

一眼看懂

论文快照

fact_check
dataset
来源
IUI
calendar_month
年份
2026
emoji_events
奖项
未标记奖项
group
作者
3 位作者
sell
研究子方向
大语言模型(LLM)的人机协作、可解释人工智能(XAI)、知识图谱与语义搜索
work
职业/产业
大学教授与研究人员、HCI 研究员、数据科学家与分析师
article
内容状态
仅摘要
hub
相关论文
0 篇相关论文