《基于文本的音乐搜索足以满足您的需求吗？》一种新的用图像发现音乐的方式

文献标题

“Is Text-Based Music Search Enough to Satisfy Your Needs?” A New Way to Discover Music with Images

文献信息

• 主题领域: 人机交互与音乐信息检索
• 关键词: 图像-音乐检索, 音乐搜索, 多模态, 用户体验, 系统可用性

研究背景与问题

• 研究背景: 音乐在人类体验中占据重要地位，但用户在寻找符合情境或心情的音乐时常常因搜索词模糊而感到困惑。传统音乐搜索系统依赖基于文本的检索方式，对表达情感与情境的复杂需求支持有限。
• 挑战与重要性:
  • 难以处理模糊、不清晰的查询需求。
  • 需要一种更直观的方式，使用户无需明确歌曲信息，也能找到符合要求的音乐。
  • 提升用户在音乐搜索中的体验与满意度。
• 研究动机
  • 探讨基于图像的音乐检索方法是否能更好地满足用户需求。
  • 设计面向模糊查询场景的新型音乐搜索系统，对比其与传统文本搜索系统的效果。

解决方案

• 方法或解决方案:
  • 提出了三种音乐搜索系统：
    1. TTTune：传统基于文本的音乐搜索系统。
    2. VisTune：基于图像的音乐搜索系统，用户通过选择与情境或心情相关的图像进行搜索。
    3. VTTune：混合型音乐搜索系统，结合图像和文本，用户可通过图像表达初步需求，同时使用文本丰富搜索信息。
• 创新之处:
  • 提出了图像作为音乐搜索的中介，探索图像的多义性是否可以更好地表达用户情感和情境。
  • 开发了结合图像与文本的混合方法，进一步提升搜索效果和用户满意度。
• 实现步骤与技术:
  • 数据集使用了公开的MTG-Jamendo音乐数据。
  • TTTune通过自然语言处理工具（KeyBERT）提取关键字并映射至音乐标签。
  • VisTune和VTTune利用图像与音乐标签的映射算法，在预先构建的图像数据库中搜索与输入图像相似的内容，并关联至音乐。
  • 系统设计采用流行的开源框架Streamlit开发原型。

研究成果

• 具体成果:
  • 用户体验：基于图像的音乐搜索系统（VisTune和VTTune）在用户体验评分和系统可用性上整体优于传统基于文本的搜索系统（TTTune）。
  • 音乐匹配度：文本搜索系统在音乐匹配准确性上表现较佳，但基于图像的系统在用户体验上更受认可。 -年龄影响：VisTune在40岁及以上用户群体中表现出更高的满意度。
  • 实验与评估
    • 使用了两个标准化测量工具（UEQ-S和PSSUQ）进行用户体验与可用性评估。
    • 招募了236名参与者，其中一部分进行了后续采访，深入挖掘使用场景。
• 主要优势：
  • 基于图像的音乐搜索系统更直观，尤其适合文字输入困难的用户。
  • 混合搜索系统（VTTune）能平衡用户体验与音乐匹配度，提升整体满意度。
  • 系统对扩展用户音乐偏好以及处理不明确查询有潜能。
• 局限性与未来方向:
  • 局限性：
    • 图像标签需要优化，以更好地提取用户意图。
    • 系统界面需进一步改善，尤其是图像展示与交互设计。
    • 提供的场景覆盖有限，需扩展到更多用户实际需求。
  • 未来方向：
    • 开发面向具体用户群体（如老年人）的个性化界面。
    • 基于生成式模型直接生成用户期望的音乐。
    • 在实际应用中测试系统效果，并探索与社交媒体场景的结合。

讨论与贡献

• 设计指南: 提供了图像式音乐检索系统的界面设计建议：
  • 简化图像选择流程，例如采用滑动选择机制。
  • 考虑加载用户自定义图像或从设备中自动捕获周边环境作为查询选项。
  • 针对老年用户优化界面设计，增加图像视图大小和交互便捷性。
• 理论与实践贡献:
  • 提出了一种全新的音乐搜索模式，为基于视觉的音乐检索领域提供创新思路。
  • 为音乐搜索界面设计和用户体验研究提供了详尽的实证数据与优化建议。