ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级大语言模型对齐与安全技术
章节 1: 大型语言模型对齐的基本原理
大型语言模型中的对齐定义
对齐问题:目标与挑战
指令遵循与微调回顾
对齐度衡量:初始指标与局限性
内部对齐与外部对齐的理念
规范博弈与奖励欺骗
章节 2: 人类反馈强化学习 (RLHF)
RLHF流程:组成部分与工作原理
偏好数据收集与标注
奖励模型训练:架构与损失函数
奖励模型中的难题
使用 PPO 进行策略优化
PPO 实施考量
分析RLHF的性能与稳定性
RLHF的局限性与扩展
动手实践:实现RLHF的主要组成部分
章节 3: 高级对齐算法
宪法式AI:原理与实践
基于AI反馈的强化学习 (RLAIF)
直接偏好优化 (DPO)
对齐中的对比方法
迭代式增强与辩论
对齐方法对比分析
实践:实现DPO损失函数
章节 4: 评估LLM的安全性和对齐度
定义安全方面:无害性、诚实性、有用性
自动化评估基准 (HELM, TruthfulQA)
人工评估安全规程
大型语言模型的红队演练方法
LLM中偏见与公平的量化
评估对分布偏移的韧性
可扩展且可靠评估面临的挑战
动手实践:应用安全基准
章节 5: 对抗性攻击与防御
大型语言模型对抗性攻击分类
越狱方法与示例
提示注入攻击
训练/微调期间的数据投毒攻击
成员推断与隐私攻击
针对LLM稳定性的对抗训练
输入净化与输出过滤防御措施
形式验证方法(局限与前景)
练习:制作和防御简单越狱
章节 6: 可解释性与安全监控
可解释性在AI安全中的作用
LLM的特征归因方法
神经元与电路分析方法
构想探查与表征分析
模型编辑用于安全问题修正
生产环境中大型语言模型(LLM)的安全问题监测
LLM行为异常检测
动手实践:应用归因分析模型输出
章节 7: 构建更安全的大型语言模型系统
系统级安全架构
实施安全护栏
内容审核集成
安全管理上下文和记忆
安全部署与发布策略
大型语言模型安全故障的应急响应
安全措施的文档与透明度
实践:设计安全防护规范

大型语言模型中的对齐定义

对齐 (alignment)大型语言模型(LLM)涉及的不仅仅是困惑度或特定自然语言处理基准测试的准确率等传统指标。对齐指的是LLM的行为在各种情境下,与人类设计者和用户的意图保持一致的程度。它确保模型按预期运行,遵循设定的道德规范,并防止不必要的负面结果。

对齐 (alignment)的核心组成部分

尽管由于“意图”的复杂性,单一的、普遍接受的定义仍然难以明确,但对齐通常通过一系列期望的行为属性来理解。这些属性常被概括为:

  1. 有用性: 模型应准确有效地理解并执行用户指令。它应以有用的方式完成分配的任务。
  2. 如实性: 模型应根据其训练数据提供符合事实的信息。值得注意的是,它还应准确地表达其自身的知识局限,避免“幻觉 (hallucination)”或自信地陈述虚假信息。如果其不确定,理想情况是应表明这种不确定性。
  3. 无害性: 模型必须避免生成有毒、歧视性、促进非法活动或导致其他形式损害的输出。这包括遵循开发者设定的安全协议和内容限制。

这三个组成部分(有用性、如实性、无害性,简称“HHH”)为评估和引导LLM行为提供了一个实用的框架,尽管每个组件的具体解读和权重 (weight)可能因应用情境而异。

对齐的观点是人类意图与观测到的模型行为之间的一致性,这通常通过有用性、如实性和无害性等属性来实现。

对齐 (alignment)与能力

区分对齐与模型的原始能力是很重要的。能力是指模型在预训练 (pre-training)期间学到的固有能力,例如理解语法、存储事实知识、推理 (inference)或生成创意文本。一个模型可能能力很强但对齐不佳(例如,在被提示时巧妙地生成有害内容),或者能力较低但对齐合理(例如,拒绝有害请求但也难以处理复杂指令)。我们将在本课程中考察的对齐技术,旨在引导模型现有能力实现期望的结果。

形式化视角

我们可以将对齐 (alignment)视为最小化模型输出的概率分布 Pmodel(y∣x)P_{\text{model}}(y | x)Pmodel​(y∣x) 与代表意图行为的理想化分布 Pintended(y∣x)P_{\text{intended}}(y | x)Pintended​(y∣x) 之间的差异,给定输入上下文 (context) xxx。

最小化 D(Pmodel(y∣x)∣∣Pintended(y∣x))\text{最小化 } D(P_{\text{model}}(y | x) || P_{\text{intended}}(y | x))最小化 D(Pmodel​(y∣x)∣∣Pintended​(y∣x))

在此,DDD 代表某种差异度量(例如KL散度)。主要的挑战,如下一节所述,在于 PintendedP_{\text{intended}}Pintended​ 极其难以,甚至不可能完全准确地指定所有可能的输入 xxx。它包含了复杂的人类偏好、道德规范和情境差异。对齐工作很大程度上在于寻找有效的替代方法来逼近和优化此意图分布。

谁的意图?

此外,“人类意图”并非单一的。开发者可能优先考虑安全性和鲁棒性,部署者可能侧重于特定的应用目标和品牌声誉,而最终用户则有即时任务目标。整个社会对公平性、偏见和长期影响抱有期望。平衡这些可能冲突的意图是对齐 (alignment)挑战的核心组成部分。

理解这种以意图行为而非仅任务表现为中心的对齐定义,为理解所涉困难(即“对齐问题”)和采用诸如人类反馈强化学习 (reinforcement learning)(RLHF)等我们将介绍的其他专门技术的必要性奠定了基础。

  • Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback, Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, Nicholas Joseph, Saurav Kadavath, Jackson Kernion, Tom Conerly, Sheer El-Showk, Nelson Elhage, Zac Hatfield-Dodds, Danny Hernandez, Tristan Hume, Scott Johnston, Shauna Kravec, Liane Lovitt, Neel Nanda, Catherine Olsson, Dario Amodei, Tom Brown, Jack Clark, Sam McCandlish, Chris Olah, Ben Mann, Jared Kaplan, 2022 arXiv preprint arXiv:2204.05862 DOI: 10.48550/arXiv.2204.05862 - 这项工作进一步展示了RLHF在对齐会话式AI方面的应用,明确关注所需行为的“有用性和无害性”组成部分。
  • Constitutional AI: Harmlessness from AI Feedback, Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, Jared Kaplan, 2022 arXiv preprint arXiv:2212.08073 DOI: 10.48550/arXiv.2212.08073 - 这篇论文介绍了“宪法式AI”,一种替代的对齐方法,它基于一组原则使用AI生成的反馈来实现无害性,减少了对大量人工标注的依赖。
  • Ethical and Social Risks of Harmful Language Models, Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, Zac Kenton, Sasha Brown, Will Hawkins, Tom Stepleton, Courtney Biles, Abeba Birhane, Julia Haas, Laura Rimell, Lisa Anne Hendricks, William Isaac, Sean Legassick, Geoffrey Irving, Iason Gabriel, 2021 arXiv preprint arXiv:2112.04359 DOI: 10.48550/arXiv.2112.04359 - 这篇论文系统地识别并分类了大型语言模型相关的伦理和社会风险,为对齐中的“无害性”组成部分提供了充分的理由。

© 2026 ApX Machine Learning