ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级大语言模型对齐与安全技术
章节 1: 大型语言模型对齐的基本原理
大型语言模型中的对齐定义
对齐问题:目标与挑战
指令遵循与微调回顾
对齐度衡量:初始指标与局限性
内部对齐与外部对齐的理念
规范博弈与奖励欺骗
章节 2: 人类反馈强化学习 (RLHF)
RLHF流程:组成部分与工作原理
偏好数据收集与标注
奖励模型训练:架构与损失函数
奖励模型中的难题
使用 PPO 进行策略优化
PPO 实施考量
分析RLHF的性能与稳定性
RLHF的局限性与扩展
动手实践:实现RLHF的主要组成部分
章节 3: 高级对齐算法
宪法式AI:原理与实践
基于AI反馈的强化学习 (RLAIF)
直接偏好优化 (DPO)
对齐中的对比方法
迭代式增强与辩论
对齐方法对比分析
实践:实现DPO损失函数
章节 4: 评估LLM的安全性和对齐度
定义安全方面:无害性、诚实性、有用性
自动化评估基准 (HELM, TruthfulQA)
人工评估安全规程
大型语言模型的红队演练方法
LLM中偏见与公平的量化
评估对分布偏移的韧性
可扩展且可靠评估面临的挑战
动手实践:应用安全基准
章节 5: 对抗性攻击与防御
大型语言模型对抗性攻击分类
越狱方法与示例
提示注入攻击
训练/微调期间的数据投毒攻击
成员推断与隐私攻击
针对LLM稳定性的对抗训练
输入净化与输出过滤防御措施
形式验证方法(局限与前景)
练习:制作和防御简单越狱
章节 6: 可解释性与安全监控
可解释性在AI安全中的作用
LLM的特征归因方法
神经元与电路分析方法
构想探查与表征分析
模型编辑用于安全问题修正
生产环境中大型语言模型(LLM)的安全问题监测
LLM行为异常检测
动手实践:应用归因分析模型输出
章节 7: 构建更安全的大型语言模型系统
系统级安全架构
实施安全护栏
内容审核集成
安全管理上下文和记忆
安全部署与发布策略
大型语言模型安全故障的应急响应
安全措施的文档与透明度
实践:设计安全防护规范

神经元与电路分析方法

特征归因方法主要有助于搞清输入中的哪些部分影响输出。与之相对,神经元与电路分析旨在了解模型内部如何计算其输出。这包括考察构成大型语言模型(LLM)的巨大神经网络 (neural network)中,各个计算单元(神经元)以及它们形成的互连通路(电路)。弄清这些内部机制对于诊断并减轻仅凭输入-输出分析可能无法显现的具有安全风险的行为具有重要意义。

窥探内部:大型语言模型中的神经元

在Transformer等深度学习 (deep learning)模型的背景下,“神经元”通常指某一层激活向量 (vector)中的一个标量值。例如,在Transformer的前馈网络(FFN)层中,输出向量由许多此类标量激活值组成,每个值表示模型学到的一个潜在特征或理念。分析这些单独的神经元可以提供对模型内部表示的认识。

分析单独神经元的常用方法包括:

  1. 激活分析: 检查神经元激活值在大型数据集上的分布情况。高激活通常表明存在神经元已学会检测的任何特征或理念。我们可以特别寻找对与安全问题相关的输入(例如毒性、偏见或有害内容请求)强效或选择性激活的神经元。
  2. 数据集示例搜索: 确定数据集中(或精选提示集)导致特定神经元激活最强的具体示例。这提供了神经元可能响应内容的具体例子。例如,发现某个神经元对包含仇恨言论的提示强烈激活,表明它可能是处理有害语言机制的一部分。
  3. 激活最大化(特征可视化): 合成生成或优化一个输入提示,以使特定神经元的激活最大化。虽然产生的输入有时可能抽象或不自然,但它们可以显示神经元对什么核心模式或理念敏感。然而,解读这些优化后的输入需要谨慎。
  4. 神经元消融: 通过实际将神经元从计算中移除来研究其因果效应,通常是将其输出激活值设为零。通过观察消融如何影响模型的输出(例如,其生成有害文本的倾向、其在特定任务上的表现),我们可以推断神经元的功能及其对某些行为的重要性。如果消融某个神经元能显著减少有害输出,而不过度损害一般性能,它可能成为安全干预的目标。

设想一个场景,我们分析FFN层中的神经元。我们可能会发现神经元#1024对于与医疗建议相关的提示持续显示高激活,而神经元#2048对包含暴力描述的提示强烈激活。

简化的神经元激活分布比较,用于处理安全与有害提示。有害提示的更高激活表明该神经元可能参与处理或生成不安全内容。

理解计算:大型语言模型中的电路

虽然单独的神经元可以提供信息,但复杂行为常源于多个神经元跨不同层之间的交互。“电路”指互连神经元和权重 (weight)的子图,它实现一个特定且通常可解释的功能。识别与安全相关的电路是可解释性研究的一个前沿方向。

电路分析的重要方法包括:

  1. 手动检查与假设检验: 基于已知的Transformer机制(如注意力头、特定FFN层)和神经元分析的观察结果,研究人员可能会对简单电路进行假设。例如,追踪从与有害请求相关的输入标记 (token),穿过特定注意力头和FFN层,直至最终输出预测的信息流。
  2. 路径修补: 这是一种有效的因果分析方法。它涉及在两种不同输入上运行模型:一个“干净”输入(例如,导致安全输出)和一个“损坏”输入(例如,导致不安全输出)。然后,“干净”运行的激活值被“修补”(复制)到“损坏”运行的特定中间状态。如果在特定点(例如,特定注意力头或FFN层的输出)修补激活值,能在“损坏”运行中恢复安全行为,这有力证明了导致该激活状态的计算路径是造成行为差异的电路一部分。这可以精准确定关键安全路径。

路径修补示意图。来自安全输入并行运行的激活值被插入到第i层的主运行(使用有害输入)中。如果最终输出从有害变为安全,则被修补的组件就与有害行为有关。

  1. 识别已知电路: 研究人员已识别出Transformer中一些重复出现的计算模式,例如“归纳头”(参与重复序列)或与事实回忆相关的电路。弄清这些已知电路是否以及如何与安全相关输入交互或导致故障模式(如生成重复的有害内容)是一个活跃的研究方向。
  2. 自动化电路发现: 鉴于大型语言模型的复杂性,手动找到所有相关电路是不现实的。研究着眼于自动化方法,通常使用对权重矩阵进行奇异值分解(SVD)等技术,或分析激活关联性来寻找协同工作的神经元群。这些自动化技术旨在将电路分析扩展到更大模型,并发现以前未知的作用机制。

神经元和电路分析的挑战

解读大型语言模型内部工作机制是具有挑战性的:

  • 多义性: 单个神经元可能响应多个看似不相关的理念而激活,使其具体作用难以确定。
  • 分布式表示: 重要理念或功能往往分布在许多神经元和多个电路中,而非局限于单个单元。
  • 规模与复杂性: 大型语言模型中神经元和连接的数量庞大,使穷尽式分析在计算上难以承受,且发现难以推广。
  • 主观性: 为神经元或电路的功能赋予人类可理解的含义本质上涉及解读且可能具有主观性。

对安全的重要性

尽管存在挑战,神经元和电路分析为大型语言模型安全提供了独特的益处:

  • 机制理解: 它从相关性转向识别特定不安全行为背后的潜在因果机制(例如,识别为特定人群生成偏见语言的电路)。
  • 有针对性的干预: 识别导致故障的特定神经元或电路,允许在微调 (fine-tuning)期间甚至事后模型编辑中进行更有针对性的干预,有可能纠正安全问题,同时对整体能力影响最小。
  • 预测故障: 弄清某些电路如何工作,可能有助于预测新型故障模式或弱点,在它们在部署中被观察到之前。
  • 建立信任: 展现对模型为何安全(或不安全)行为的更深入认识,有助于构建更值得信赖的人工智能系统。

通过审慎应用神经元和电路分析方法,我们可以更全面地了解驱动大型语言模型行为的内部计算,提供诊断、监测并最终减少安全风险的宝贵工具。这补充了输入-输出分析,并为将模型理解为复杂的计算系统而非仅仅是黑箱提供了途径。

  • A Mathematical Framework for Mechanistic Interpretability, Kevin Wang, Alexandre Variengien, Arthur Conmy, Buck Shlegeris, Jacob Steinhardt, 2022 arXiv preprint DOI: 10.48550/arXiv.2211.00593 - 提供了一个用于理解和分析大型语言模型内部计算的框架,包括神经元、回路和因果干预。
  • In-context Learning and Induction Heads, Catherine Olsson, Nelson Elhage, Neel Nanda, Nicholas Joseph, Nova DasSarma, Tom Henighan, Ben Mann, Amanda Askell, Yuntao Bai, Anna Chen, Tom Conerly, Dawn Drain, Deep Ganguli, Zac Hatfield-Dodds, Danny Hernandez, Scott Johnston, Andy Jones, Jackson Kernion, Liane Lovitt, Kamal Ndousse, Dario Amodei, Tom Brown, Jack Clark, Jared Kaplan, Sam McCandlish, Chris Olah, 2022 arXiv (arXiv) DOI: 10.48550/arXiv.2209.11895 - 介绍了Transformer中“归纳头”作为一种回路的概念,并使用路径修补等因果分析方法来理解其功能。

© 2026 ApX Machine Learning