在这里，GPT做出了一个选择，而每一个选择都可能带有偏见：学生如何通过终端用户审计活动批判性地参与LLMs

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 大型语言模型（LLMs）的使用越来越广泛，但它们可能会生成带有偏见、不准确或不可接受的响应。
  2. 当前大学的政策将检验LLM输出正确性和适当性的责任交给学生，默认学生具备所需的AI素养和技能。这对于没有技术背景的学生是不公平的。
  3. 大学生在与LLM互动时，可能盲目接受其输出，缺乏批判性思维。

• 为什么这个问题很重要？

  • LLM生成内容可能对教育、学习和社会产生广泛且深远的影响，尤其在其传递错误信息或偏见时，这可能致使学生在学术和道德判断中面临风险。
  • 如果不正确引导LLM的使用，可能加剧学术不平等，因为不同背景的学生在使用LLM时能力不一定相同。

• 研究动机与相关工作

  • 研究动机：探讨如何通过用户审计等方式提升学生的批判性AI素养，及指导政策和工具设计以便更好地服务学生。
  • 相关工作：已有研究强调AI素养在学生教育中的重要性，但大多数课堂仅介绍LLM的局限性，而未提供审计的方法。关于用户驱动的算法审计已有文献，但其在教育环境中的应用仍需进一步探讨。

解决方案

• 作者提出了哪些方法或解决方案？

  • 作者设计了一个用户审计工具（PromptAuditor），结合场景引导和具体分析步骤，帮助学生识别和记录LLMs中的偏见。
  • 提出了一个搭建用户审计支架（scaffolding）的系统，包括学习背景场景、假设生成、实例演示、自我反思和对比学习五个阶段。

• 该解决方案的创新之处是什么？

  1. 引入了详细且结构化的审计支架，帮助参与者从盲目探索转向有针对性的系统分析。
  2. 创新性地通过对比学习和实例讨论揭示LLM偏见，进而提升参与者的批判思维能力。
  3. 在真实教育环境中对学生如何批判性地使用LLMs进行了实证研究，这在现有HCI或AI素养研究中尚属罕见。

• 实施步骤是什么？使用了哪些关键技术？

  • 研究设计：
    • 分为三个阶段：（1）无指导审计（基于大学当前政策）；（2）带有审计支架的审计；（3）独立审计（撤除支架）。
  • 样本：研究涉及47名来自不同学科的大学生，分为实验室控制环境和课堂自然环境研究。
  • 技术应用：
    • 开发并部署了PromptAuditor Web工具，让学生能实验性地与LLMs进行交互。
    • 使用GPT-3.5为底层模型，同时通过审计支架强化学生的互动与分析能力。

研究成果

• 取得了哪些具体成果？

  1. 识别问题：绝大多数学生认为现有大学关于LLMs的指导政策不清晰、难以操作，且对非技术背景用户存在不公平。
  2. 支架作用：通过审计支架，大部分参与者从零碎的探索性查询转向更具结构化和假设驱动的偏见审计。
  3. 思维转变：学生在使用支架后不仅提高了在某一领域内探索偏见的深度，还扩展到社会、历史等多学科讨论。

• 与现有解决方案相比，它有哪些优势？

  • 更强的用户可操作性： PromptAuditor有效地解决了学生对现有政策解读模糊的问题，教会学生逐步识别并记录偏见。
  • 提升批判性思维： 通过对比学习和场景演示，学生能够从“表面观察者”转变为“深度分析者”。
  • 适配性与公平性： 提供了更公平的设计，考虑到学生在AI知识方面的差异，尤其对非技术背景的学生更友好。

• 实验或评估结果是什么？

  1. 调查发现，接受正式AI素养课程教育的学生（如修完生成式AI课程）在偏见检测方面表现较好，但普通学生在支架指导后也显著改善。
  2. 参与者在与GPT交互后能够更清晰地阐述和验证偏见来源，有效用于教育环境偏见检测。

• 局限性与未来方向

  • 局限性：
    1. 当前研究仅限于某北美大学，存在文化和政策环境的局限。
    2. 时间限制使得学生无法进行深度和持久的审计。
    3. 对潜在敏感话题（如种族、性别）的讨论可能需要更多心理支持。
  • 未来方向：
    1. 开发普适的非技术用户工具，用于广泛的教育环境。
    2. 深化对不同社会阶层或文化背景下学生的偏见认知研究。
    3. 探索将AI素养扩展到更早学段（如中小学）的可能性，以及其对跨代AI教育的影响。

通过这样的研究和改进措施，可以进一步提升LLM的负责任使用，并促进更加公平和全面的教育环境构建。