评估计算式礼貌标注方法：机器分类应用于社会计算数据的挑战

社会计算研究人员开始应用机器学习工具来分类和分析社交媒体数据。作者对理解在线社区中礼貌的兴趣使他们关注帮助自动化礼貌分析的工具。本文重点介绍了一种流行的分类工具，旨在对文本的礼貌程度进行评分。将此工具应用于维基百科数据产生了出乎意料的结果。这些出乎意料的结果导致作者质疑该工具如何运作，以及其相对于人类判断和分类的有效性。作者设计了一项用户研究，使用对维基百科讨论页面内容样本进行标注的众包工作者来重新验证该工具，模仿最初验证该工具的尝试。这一重新验证指出了自动标注的挑战。基于结果，本文重新审视了在线社区中的礼貌问题，以及社会计算研究中机器分类器使用的更广泛趋势。