改进用户行为预测：在监督机器学习模型中利用注释器元数据

监督机器学习模型在从对话文本预测用户行为时往往表现不佳，原因是众包标签质量差和NLP任务准确率低。我们引入了元数据敏感加权编码集成模型（MSWEEM），该模型集成了注释器元特征，如疲劳和加速。首先，我们的结果表明，MSWEEM在保留数据上优于标准集成模型14%，在替代数据集上优于12%。其次，我们发现纳入注释者行为信号（如速度和疲劳）显著提升了模型性能。第三，我们发现具有更高资质的注释器（如硕士学位）提供更一致、更快的注释。鉴于注释质量的不确定性增加，我们的实验表明，理解注释器模式对于提高用户行为预测的模型准确性至关重要。