交互式机器学习中可控性与认知负荷的多模态研究

交互式机器学习系统有望通过使人能影响模型行为来 democratize AI，但用户控制的认知和行为影响仍未得到充分研究。我们通过一个为教学和研究应用设计的可扩展研究平台，探讨系统可控性如何影响交互式机器学习中的人类因素。我们的系统具有可切换的超参数控制面板，将简化注释接口转变为可调整学习环境，允许用户直接操作模型训练动态，包括学习率、优化器和正则化参数。通过一项包含46名参与者进行命名实体识别任务的受控实验室研究，我们结合多模态测量，包括主观评估（NASA-TLX）、生理指标（瞳孔直径、皮肤电反应）和行为指标，以理解算法控制的认知成本。我们的发现揭示了交互式机器学习设计中的基本矛盾：虽然可控性通常被理论化为支持能动性，但它显著增加认知负荷和任务完成时间，用户在获得控制选项时需要明显更多时间。这些发现对人类-AI协作系统的设计具有启示意义。我们的工作贡献包括：（1）一个用于研究自然语言处理交互式机器学习中人为因素的研究平台，包含可控性操作和实时在线更新；（2）算法控制认知成本的实证证据；（3）交互式机器学习系统中认知可持续性的设计启示。随着AI系统越来越多地集成到专业工作流程和教育环境中，理解这些人为因素对于创建不仅强大而且对长期使用在认知上可持续的交互式机器学习系统至关重要。