维护视觉完整性与人文关怀：视觉社交数据混合方法研究框架

文献标题

With Visual Integrity and Care: A Framework for Mixed Methods Research on Visual Social Data

出版信息

• 主题领域: 混合方法研究框架，用于分析视觉社会数据。
• 关键词: 视觉社会数据、混合方法、视觉完整性、计算分析、人本研究、视觉语法、问题性信息、研究者关怀、定性分析、人机交互。

背景与问题

• 问题/挑战: 传统社会计算研究主要集中于文本数据分析，在视觉社会数据分析方面存在方法学空白，尤其是在涉及问题性信息（如宣传、仇恨、虚假信息）的情境中。现有方法缺乏系统框架来支持严格、伦理且可扩展的视觉分析。
• 重要性: 视觉内容在塑造线上和线下社会互动中发挥着越来越重要的作用。解决这一空白对于理解和干预问题性信息的传播，以及推进视觉研究方法学至关重要。
• 动机与相关工作: 视觉社会学、媒体研究和计算分析领域的先前工作提供了基础方法，但通常缺乏定性与计算方法的整合。挑战包括数据的去语境化、伦理问题，以及在分析有害内容时对研究者关怀的需求。本文基于这些缺口提出了一个综合框架。

解决方案

• 提出的方法: 一个用于分析视觉社会数据的混合方法框架，结合视觉语法、人类分析和计算支持分析，同时强调研究者关怀。
• 创新点:
  1. 引入一个灵活且系统的视觉社会数据分析框架。
  2. 强调视觉完整性，以保留数据的视觉和社会语境。
  3. 整合关怀实践，保护研究者在分析令人不安内容时免受伤害。
  4. 通过三个实证案例研究展示框架的适应性和有效性。
• 流程与关键技术:
  • 视觉语法: 基于研究问题和数据开发系统化的图像分析结构。
  • 人类分析: 进行定性编码和主题分析，以生成洞察和假设。
  • 计算支持分析: 使用计算工具扩展人类分析，过滤有害内容，并在保留视觉完整性的同时量化趋势。
  • 关怀承诺: 实施人类和计算基础设施，以减少研究者伤害并优化分析劳动。

结果

• 具体发现:
  • 案例研究1: 分析了1,500张反移民宣传图像和50,000个通过计算过滤的元素，实时识别策略和趋势。
  • 案例研究2: 调查了6,000张AI生成的耶稣图像，通过访谈和计算分析揭示了文化和神学趋势。
  • 案例研究3: 检验了200张俄罗斯-乌克兰战争中的Telegram图像，开发了一个多模态数据管道以分析视觉团结和敌意。
• 相较基线的优势:
  • 提升了系统且伦理地分析视觉数据的能力。
  • 将人类洞察与计算可扩展性相结合，保留视觉和社会语境。
  • 框架支持研究者的身心健康，减少接触有害内容。
• 实验/评估:
  • 案例研究将框架应用于多样化情境，包括宣传、AI生成图像和战争视觉。
  • 通过指标验证编码一致性（如团结的Krippendorf Alpha值为0.7041）。
  • 计算工具扩展了人类分析，例如使用CLIP进行主题检测和模块化脚本量化趋势。
• 局限性与未来工作:
  • 框架优先考虑可迁移性而非普适性，限制了其在某些研究情境中的适用性。
  • 主要聚焦于全球北方语境，需要针对其他文化背景进行适配。
  • 未来工作包括开发人机交互工具包、解决视频分析问题，以及探索问题性信息以外的更广泛应用。

总结

本文提出了一个用于分析视觉社会数据的混合方法框架，整合视觉语法、人类分析和计算支持分析，同时优先考虑研究者关怀。通过反移民宣传、AI生成图像和战争视觉的三个案例研究，展示了框架的适应性和有效性。主要贡献包括视觉完整性概念、实用关怀实践，以及结合定性与计算方法的系统方法。该框架赋能研究者研究日益视觉化的数字空间，同时应对伦理和方法学挑战。