理解用于生成用户画像的人机协作工作流程

大语言模型(LLM)的人机协作用户研究方法(访谈、调查、观察)HCI 研究员统计学家与数据科学家

用户研究方法深入采用的一个障碍是创建高质量数据表示所需的大量劳动。训练有素的用户研究员需要分析数据集并生成与原始数据相关的 Informative 总结。虽然大型语言模型(LLMs)可以帮助生成总结,但它们已知会产生幻觉并产生有偏见的响应。在本文中,我们研究了将用户研究中的子任务不同地委托给人类专家和 LLMs 的人机协作工作流程。以用户画像生成为案例进行研究,我们发现 LLMs 本身不擅长捕获用户数据的关键特征。当我们利用人类技能按关键特征对用户数据进行分组,并利用 LLMs 将预分组数据总结为用户画像时,可以获得更好的结果。通过这种协作方法生成的用户画像可能比人类专家或 LLMs 单独生成的更具代表性和更能唤起同理心。我们还发现 LLMs 可以模拟生成的画像并实现与画像的交互,从而帮助用户研究员与之产生同理心。我们得出结论,LLMs 通过促进用户数据分析,可能促进定性方法在用户研究中的广泛应用。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/dis/164481/2024

广告推荐

学习 AI 编程到 CodeNow

一眼看懂

论文快照

fact_check
dataset
来源
DIS
calendar_month
年份
2024
emoji_events
奖项
未标记奖项
group
作者
5 位作者
sell
研究子方向
大语言模型(LLM)的人机协作、用户研究方法(访谈、调查、观察)
work
职业/产业
HCI 研究员、统计学家与数据科学家
article
内容状态
仅摘要
hub
相关论文
6 篇相关论文