人们后悔使用社交媒体的哪些方面？对34K智能手机截图的多模态LLM分析

研究背景与问题

作者发现了哪些问题或挑战？

• 智能手机用户经常对社交媒体的使用感到后悔，尤其是他们花费在推荐内容或无意识浏览上的时间。然而，用户的后悔感与其设备操作行为和社交应用设计间的具体关系并不明确。
• 社交媒体应用的复杂性（例如同时包含推荐内容、消息传递、讨论线程等多功能模块）使得精确追踪导致后悔的设计因素变得具有挑战性。
• 对不同用户意图及其行为进行精细化分析是理解这种后悔情绪的重要前提，但现有研究缺乏细粒度的分析框架。

为什么这个问题很重要？

• 社交媒体的“参与度驱动”设计常导致用户陷入不必要和不受欢迎的时间消耗状态，对个人的数字健康构成威胁。
• 了解人们后悔使用社交媒体的原因，不仅可以为社交媒体设计提供改进建议，还可以为政策制定提供依据，以减少引发用户负面情绪的设计元素。

研究动机与相关工作

• 动机：填补对于后悔情绪与使用行为之间关系的细粒度分析的空白，从而帮助开发尊重用户意图的设计。
• 相关研究指出，用户有时因为非目标导向的应用打开行为或者使用推荐算法主导的内容而感到后悔，但目前尚无基于视觉数据（如截图）的系统分析。

解决方案

作者提出了哪些方法或解决方案？

• 提出了一种基于**多模态大语言模型（MLLM）**分析智能手机截屏的新方法，并结合体验抽样方法、调查问卷和访谈，进行用户行为的混合方法研究。
• 他们自动收集和分析了34,313张手机截图，并使用GPT-4o等大语言模型进行视觉内容的分类。

该解决方案的创新之处是什么？

1. 自动化截图分析：

   • 使用MLLM分析智能手机截图，解决了手动编码数据量大的问题。
   • MLLM可理解用户界面并分类出截屏所代表的行为，实现了高效的行为可视化。

2. 细粒度行为分析：

   • 将社交媒体用户行为分类为多种细粒度活动（如主动交流、主动搜索、推荐内容消费等），而不是将社交媒体使用视为一个整体。

3. 后悔情绪与用户意图的三维交叉分析：

   • 结合用户意图与行为对比，揭示出意图偏差对后悔情绪的关键影响。

实施步骤

1. 数据采集：为每位参与者安装一个应用，收集每5秒截图并记录用户当时的意图。
2. 行为分类：
   • 使用GPT分析截图内容并对行为进行分类（如推荐内容浏览、评论区查看等）。
   • 应用链式思维提示（Chain-of-Thought Prompting）提升模型的视觉推断准确性。
3. 意图与实际行为对比：
   • 将用户进入应用时的意图与随后截图所反映的实际活动进行匹配。
4. 实验方法：通过日常体验问卷和访谈收集用户的后悔评分及对具体行为的反思。

研究成果

取得了哪些具体成果？

1. 意图对后悔的影响：

   • 如果用户没有明确的意图而打开社交媒体，他们的后悔情绪更强烈。
   • 用户在执行与沟通、生产力相关的活动时，后悔程度最低。

2. 不同社交媒体活动的后悔特征：

   • 推荐内容浏览和评论阅读是最令用户后悔的社交媒体活动。
   • 用户最不后悔的活动是直接通信以及主动搜索。

3. 意图偏差与后悔的关系：

   • 60%以上的通信初衷会偏移到浏览社交媒体，其偏移与少量增加的后悔情绪相关联。
   • 然而，与主动浏览社交媒体相比，从沟通偏移而来的浏览仍然不那么后悔。

与现有解决方案相比，它有哪些优势？

• 通过多模态分析实现更高的行为细化水平，而不是从整体上评估应用使用。
• 通过截图的分析为手机过度使用干预提供了细粒度分析工具，而非粗粒度的应用级别监控。

实验或评估结果是什么？

• 在行为分类性能上，MLLM与人工分类之间的一致性达到79.5%的准确率（Cohen’s Kappa = 0.736）。
• 定量模型分析显示，推荐内容比例、使用时间长度及用户意图均为后悔评分的显著预测因子。

局限性与未来方向

1. 研究局限性：

   • 仅限于美国的17名参与者，缺乏大样本多样化人群的验证。
   • 截图分析在分类具体活动（如朋友分享内容）时存在部分错误。

2. 未来方向：

   • 探索更广泛的应用范围（例如购物应用、在线视频平台）。
   • 开发基于设备端的隐私保护截图分析模型。
   • 应用此方法于实时干预系统，缓解智能手机上的过度使用问题。

通过本研究，作者不仅揭示了用户后悔感的行为起因，还为设计涉及意图尊重的界面提供了数据驱动的启示，对于改善数字健康与减少注意力经济引发的问题具有实际意义。