你公开了吗？关于人机交互期刊中透明度和开放性指南的内容分析

文献标题

Are You Open? A Content Analysis of Transparency and Openness Guidelines in HCI Journals

文献信息

• 主题领域: 人机交互（HCI）领域的透明性与开放科学指南
• 关键词: 编辑实践, 透明性与开放性促进指南（TOP）, 开放科学, HCI, 开放数据, 审稿政策

研究背景与问题

• 问题或挑战:
  1. 在开放科学改革运动的背景下，人机交互（HCI）领域正面临关于如何提高透明性和开放性的问题。
  2. 论文出版场所（尤其是期刊）在推动开放科学实践中扮演着重要角色，但当前对HCI期刊支持开放科学实践的程度知之甚少。
  3. 不同研究领域对开放科学的需求多样化，有些标准可能不适用于HCI领域的多学科性质。
• 重要性:
  • 开放科学的实践（如数据共享、实验预注册等）可以显著提高研究的可信度和透明性，特别是在解决研究结果不可再现的问题方面。
  • 当前部分HCI期刊缺乏完善的透明性和开放性标准，这可能导致对研究可信度产生负面影响。
• 研究动机:
  • 作者希望了解HCI领域高频引用的期刊对透明性和开放性指南（TOP Guidelines）的支持程度，特别是在注重开放实践的编辑政策方面。

解决方案

• 提出的方法或解决方案:
  1. 通过分析TOP Guidelines（透明性和开放性促进指南），量化HCI领域高频引用期刊在支持透明性和开放性方面的表现。
  2. 选取2016年后CHI（计算机人机交互国际年会）论文的第一作者的期刊发表数据，确定51种最常发表的期刊作为样本。
  3. 使用TOP Guidelines中的10个模块（如数据透明性、分析方法透明性、研究材料透明性等）对期刊的编辑方针进行内容编码。
• 创新之处:
  • 将TOP Guidelines与HCI领域期刊实地表现相结合，这是首次对领域内期刊在开放科学标准上的一致性和实施情况进行系统分析。
  • 作者提出通过TOP评分作为对期刊支持开放科学实践的替代评估指标。
• 实施步骤:
  1. 构造样本集：通过调研CHI第一作者发表于期刊的频率并筛选符合特定标准的期刊（如同行评审、作者指南可见等）。
  2. 编码期刊透明性：两名研究者独立对各期刊进行TOP指南的评分并计算一致性（Cohen’s κ系数）。
  3. 对编码结果中分歧部分进行讨论并达成一致。
  4. 总结每种期刊的透明性开放性评分（TOP Factor），最高分值为29分。

研究成果

• 具体成果:
  1. 样本期刊的平均TOP Factor为2.5（SD = 3.6，最高为15），大多数期刊的得分为0，表明HCI领域的期刊在支持开放科学实践方面表现不足。
  2. 数据引用透明性是最常见的政策，51%的期刊在这一标准上获得得分。
  3. 分析预注册和实验设计透明性等标准得分最低，不足5%的期刊对此有相关指南。
  4. 仅6种期刊得分超过4分，其中Frontiers in Psychology和PLOS One得分最高。
• 与现有解决方案相比的优势:
  • 提供了有关HCI社区在透明性和开放性实践中的编辑政策的系统而高效的分析。
  • 为HCI从业者在期刊选择上提供了TOP Factor这一替代指标，使其可在期刊投稿时以透明性为优先考量。
• 实验或评估结果:
  • 结果表明HCI领域期刊在数据规范性、开放材料和分析方法等领域仍有较大改进空间。
  • 在开放数据和透明实践领域，大部分HCI期刊未达到其出版商（如COPE）对数据和可重复性设定的核心实践要求。
• 局限性与未来方向:
  • 局限性:
    1. 某些TOP标准（如复制性和报告指南）的编码一致性较低，可能需要进一步修订评分机制。
    2. 样本中部分期刊并非HCI核心期刊，可能影响结果的构建效度。
  • 未来方向:
    1. 针对HCI特定领域开发更适合的开放性标准，特别是对于定性研究和工程性研究。
    2. 推动期刊在指南显著性和易用性上的改进，以降低研究者遵守透明性标准的难度。
    3. 探讨如何在会议过程（如CHI年会）中实现透明性标准的应用。

数据与代码可用性

• 项目数据、代码集和分析脚本均可在Open Science Framework (https://osf.io/ck7em/) 上获取。

资助信息

该研究通过以下机构资助：

1. 英国工程与物理科学研究委员会（EPSRC）/媒体与艺术技术相关项目。
2. 数字创意实验室（EPSRC/AHRC资助）。