SenseMate：一个面向定性数据分析的无障碍、 beginner友好型人机协作平台

社区组织在利用定性数据分析或意义建构的力量来理解其成员提出的多样观点和需求方面面临挑战。意义建构中最耗时且最繁琐的部分之一是定性编码，即在大量非结构化的社区输入中识别主题的过程。定性编码中的一个挑战是实现高水平的编码者间信度，尤其是在专家和新手意义建构者之间。在本工作中，我们提出了 SenseMate，这是一种旨在帮助进行定性编码的新型人机协作系统。SenseMate 利用理由提取模型（一种半自动化意义建构的新机器学习策略）来生成主题推荐和人类可解释的解释。这些模型训练于一个数据集，该数据集包含人们在波士顿生活的经历，由专家意义建构者标注了主题。我们通过迭代的、以人为中心的设计流程将理由提取模型集成到 SenseMate 中，该流程围绕从广泛文献综述中得出的四个关键设计原则展开。设计过程包括三个迭代周期，持续收集七名与社区组织相关人员的反馈。通过一项涉及 180 名新手意义建构者的在线实验，我们旨在确定人工智能生成的推荐和理由是否会缩短编码时间、提高编码者间信度（即 Cohen's κ 值），并减少新手和专家编码决策之间的差异（即参与者答案与专家标准答案的 F-score）。我们发现，虽然模型推荐和解释使每个分析单元的编码时间增加了 49 秒，但它们将编码者间信度提高了 29%，将编码 F-score 提高了 10%。关于 SenseMate 设计的效果，参与者普遍认为该平台易于使用。总之，SenseMate（1）面向没有技术背景的新手意义建构者，这是先前工作未关注的用户群体；（2）实施理由提取模型来推荐主题和生成解释，这在用户隐私和控制方面相对于大型语言模型具有优势；（3）包含基于用户反馈的原创且直观的功能，可应用于未来的定性数据分析系统。