众包相似性判断用于终端用户诱导研究中的协议分析

终端用户诱导研究是一种流行的设计方法，但其数据分析需要大量时间和精力。本文提出Crowdsensus，一个众包工具，使研究者能够使用主观人类判断和自动聚类算法高效分析诱导研究结果。除自身分析外，我们邀请了六位具有运行和分析诱导研究经验的专家研究者，分析一个包含10个网页浏览器功能、每个功能43个终端用户语音命令的终端用户诱导数据集，共430个语音命令。我们使用Crowdsensus从410名在线众包工人处收集了这430个命令的相似性判断。众包在8个功能中的7个上得出了与专家相同的结果，并在专家未能达成一致的某个功能上解决了问题，表现优于专家。此外，使用Crowdsensus比使用专家快约四倍。