大规模颜色-名称数据集的对比学习：利用负采样解决稀疏性问题

文献标题

Contrastive Learning for Large-scale Color-Name Dataset: Tackling Sparsity with Negative Sampling

出版信息

• 主题领域: 颜色名称关系的计算建模，用于推荐和生成任务。
• 关键词: 对比学习, 颜色命名, RGB编码, 多任务学习, 负采样, 语义嵌入, 人机交互, 感知建模, 推荐系统, 生成模型。

背景与问题

• 问题与挑战: 现有的颜色命名模型在数据稀疏性、不平衡分布以及颜色与名称之间的多对多映射方面存在困难。这些模型通常在上述条件下缺乏泛化能力，并且缺乏双向能力（颜色到名称以及名称到颜色）。
• 重要性: 准确的颜色名称建模支持可视化、设计、可访问性以及人机交互等应用，能够实现人类与系统之间直观且语义一致的交流。
• 动机与相关工作: 之前的研究探索了概率模型、基于规则的系统以及诸如Text2Color的神经方法，但这些方法受限于单向映射、稀疏数据集以及嵌入对齐不足。本论文通过一个统一的对比学习框架解决这些问题。

解决方案

• 提出的方法: 一个对比学习框架，将颜色到名称推荐和名称到颜色生成任务统一到一个共享嵌入空间中，同时利用负采样和多任务优化。
• 创新点:
  1. 引入一个多任务架构，结合预训练的基于Transformer的名称编码器、RGB编码器和RGB生成器。
  2. 使用多种颜色空间特征（如HSL、LAB、HCL、CMYK）增强RGB表示，实现更丰富的语义理解。
  3. 利用负采样和对比学习解决数据稀疏性和分布不平衡问题。
  4. 双任务设计支持高精度推荐和快速轻量化生成。
• 流程与关键技术:
  • 对XKCD数据集进行预处理，清理并规范化超过300万对颜色名称数据。
  • 使用对比学习训练共享嵌入空间，结合二元交叉熵损失（用于协同过滤）和均方误差损失（用于RGB生成）。
  • 在RGB编码器中引入多颜色空间特征，并利用预训练的BERT模型进行语义名称嵌入。
  • 引入神经协同过滤（NCF）模块进行相似度计算，以及RGB生成器实现快速推断。

结果

• 具体发现:
  • 在颜色到名称推荐任务中实现了71.26%的Top-10准确率（相比Heer & Stone的53.34%）。
  • 在名称到颜色推荐任务中将CIELAB感知误差降低到25.34，在名称到颜色生成任务中降低到26.61（相比Text2Color的27.24）。
  • 推断时间分别为0.43毫秒/查询（颜色到名称）和0.8毫秒/查询（名称到颜色生成）。
• 相较基线的优势:
  • 在颜色到名称推荐任务中相较Heer & Stone实现了33.6%的相对提升。
  • 在名称到颜色生成任务中相较Text2Color减少了2%的CIELAB误差。
  • 相较基于检索的方法，名称到颜色生成任务的推断速度更快。
• 实验与评估:
  • 在清理后的XKCD数据集上进行测试，包含10,000个测试样本。
  • 评估指标：颜色到名称的Top-K准确率、名称到颜色的CIELAB距离以及推断时间。
  • 消融研究证明了增强RGB表示、负采样、NCF和MSE损失的重要性。
• 局限性与未来工作:
  • 当前工作集中于英文颜色名称，未来可扩展至多语言和跨文化数据集。
  • 需要进一步的用户研究以验证实际应用价值。
  • 在处理组合性和上下文相关的颜色描述方面仍有改进空间。

总结

本文提出了一个用于颜色名称推荐和生成的对比学习框架，解决了数据稀疏性、不平衡分布以及多对多映射的挑战。通过整合增强的RGB表示、负采样和多任务架构，该模型在准确性和感知质量方面相较基线实现了最先进的性能。该框架支持高精度推荐和快速生成，适用于设计、可视化和人机交互等实际应用。未来工作包括多语言扩展、用户研究以及自适应学习。