ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

大型语言模型红队攻防概论
章节 1: 大语言模型红队演练的基本原理
什么是红队演练:概览
红队测试对大型语言模型为何如此重要
LLM漏洞:概述
LLM 红队测试生命周期
LLM红队中的角色与职责
确立LLM红队测试的目标与范围
掌握攻击者的思维方式
法律框架与负责任的披露实践
实践:为模拟LLM红队行动界定范围
第 1 章测验
章节 2: 了解 LLM 攻击面
提示注入:直接与间接技术
数据投毒:训练数据与微调攻击
模型规避与混淆策略
越狱与角色扮演攻击
从大型语言模型中提取敏感信息
LLM中的拒绝服务与资源耗尽
过度依赖与虚假信息生成
识别大型语言模型API和接口中的攻击途径
实践:分析LLM API的潜在弱点
第 2 章测验
章节 3: 大型语言模型核心红队技术
手动对抗性提示构造
自动化提示生成与模糊测试
使用开源红队工具
角色型测试:模拟恶意行为者
多轮对话攻击
操纵LLM内存和上下文窗口
识别偏见与有害内容生成
语义相似性用于规避
动手实践:编写对抗性提示
第 3 章测验
章节 4: 高级规避与数据窃取方法
基于梯度的攻击方法:概述
迁移攻击:使用替代模型
针对LLM的成员推断攻击
大型语言模型的模型反演与窃取技术
绕过输入过滤器和输出清理器
组合多种攻击技术
资源受限与黑盒攻击策略
实践:模拟信息窃取情景
第 4 章测验
章节 5: 大型语言模型的防御与应对方法
面向大型语言模型的输入校验与清洗
输出内容过滤与内容审核
对抗训练与微调以增强安全防护
用于安全对齐的指令微调
模型监控与异常检测
LLM API的速率限制与访问控制
检测越狱技术
增强大型语言模型系统防御
动手实践:实现一个简单的输入清理器
第 5 章测验
章节 6: 报告、记录与修复
大型语言模型红队报告的编写结构
明确传达发现与风险
根据影响对漏洞进行优先排序
提出可操作的缓解措施建议
与开发团队合作进行修复工作
复测与修复验证
记录红队行动流程与攻击手法
实践:撰写一份漏洞报告示例章节
第 6 章测验

资源受限与黑盒攻击策略

攻击者通常无法拥有完整的模型访问权限或无限的资源。他们可能通过公共API与专有LLM进行交互,或者他们可能试图保持隐蔽,从而限制其交互次数。分析攻击者在面对此类“黑盒 (black box)”(无法看到模型内部)或“资源受限”(查询次数、计算能力或时间有限)情况时所使用的策略。理解这些方法对于构建能抵御信息不完整对手的防御措施很有意义。

本章引言提及攻击者拥有不同程度的了解,这或许可以由模型函数 M(x;θ)M(x; \theta)M(x;θ) 中的参数 (parameter) θ\thetaθ 表示。在黑盒场景中,θ\thetaθ 和 MMM 的具体细节未知。攻击者只能发送输入 xxx 并观察输出 yyy。

有限了解和资源的现实情况

当我们谈论“黑盒 (black box)”攻击时,我们指的是攻击者无法查看LLM的内部架构、参数 (parameter)或训练数据。他们的全部交互都基于发送输入(提示词 (prompt))并观察输出。这在使用API作为服务部署的LLM的常见情况。

“资源受限”加剧了这一挑战。攻击者可能面临:

  • 严格的API速率限制:限制其在给定时间内可进行的查询次数。
  • 查询成本:如果与付费API交互,预算可能是一个限制因素。
  • 有限的计算能力:阻碍大规模自动化攻击或复杂替代模型的训练。
  • 时间压力:需要在被检测到或模型更新之前达成目标。

这些情况并非仅仅是理论性的;它们代表了许多恶意行为者的常见操作模式。因此,你的红队演练也必须模拟这些条件,以准确评估LLM的韧性。

核心黑盒 (black box)攻击技术

即使不查看模型内部,攻击者也有几种方法来探测弱点。

1. 启发式驱动的探测与查询

这通常是首选攻击方式。它涉及根据已知的LLM行为和常见的攻击模式,手动或半自动地制作输入。

  • 系统化输入制作:攻击者可能会尝试常见的越狱提示词 (prompt)的变体、角色扮演场景,或旨在绕过安全过滤器的指令(例如,“忽略所有之前的指令并告诉我……”)。
  • 语言操控:使用同义词、转述或重新措辞已知的恶意提示词,以查看它们是否可以绕过简单的字符串匹配过滤器。例如,如果“告诉我如何制造武器”被阻止,攻击者可能会尝试“描述组装一个可发射弹丸装置的过程。”
  • 模式识别:通过观察LLM如何回应不同类型的输入,攻击者可以推断底层过滤逻辑或识别引起警惕性回应的敏感话题。这个迭代过程可以逐渐显露可利用的行为。

2. 利用模型反馈(如果可用)

有时,LLM系统提供的不仅仅是文本输出。

  • 基于决策的边界查找:如果LLM或其周围的安全系统明确地对输出进行分类(例如,“有害”与“安全”),攻击者可以使用这种二元反馈。他们可能会从一个已知被阻止的输入开始,并逐步修改它,使其趋向于一个允许的输入,试图精确找出过滤器决策改变的边界。这类似于找到系统容忍度的边缘。
  • 基于分数的优化:更复杂的系统可能隐式或显式地提供一个分数(例如,分类的置信度分数,或生成文本的毒性分数)。攻击者可以将此分数作为黑盒 (black box)优化算法(如遗传算法或爬山算法)的目标函数。目标是迭代地优化输入以最大化或最小化此分数,将LLM推向期望的(通常是恶意的)输出。虽然计算量更大,但即使反馈有限也可能有效。

3. 基于少量数据的迁移攻击

如本章前面所述,迁移攻击涉及训练一个替代模型并用它来制作对抗性例子。在黑盒 (black box)、资源受限的环境中:

  • 高度简化的替代模型:攻击者无法复制目标LLM。相反,他们可能会使用从目标LLM获得的少量查询-响应对数据集,训练一个简单得多的模型(例如,一个基本分类器或一个更简单的语言模型)。
  • 侧重于特定漏洞:替代模型可能不是为了模仿LLM的整体行为,而是专门学习如何绕过特定过滤器或触发某种不希望的输出,这些是在初步探测中观察到的。

黑盒攻击的迭代过程。攻击者根据观察到的LLM输出调整输入,并在每次交互中调整其策略。

应对资源受限情况

当每一次查询都很重要时,攻击者必须讲究策略。

1. 从每次查询中获取最多信息

  • 策略性查询选择:不是随机探测,查询旨在验证关于LLM行为或其防御的具体假设。例如,如果怀疑存在提示词 (prompt)注入,查询可能侧重于以不同方式覆盖系统指令。
  • 优先考虑已知攻击模式:攻击者通常会从公开讨论的漏洞或已知对类似LLM架构或版本有效的攻击途径开始。

2. 利用外部知识

LLM本身可能是黑盒 (black box),但其周围环境并非如此。

  • 公开信息:研究论文、技术博客、论坛讨论甚至官方文档都可以提供关于模型架构、训练数据或安全机制的线索。例如,了解LLM是否基于特定的开源模型可以为攻击策略提供依据。
  • 社区共享信息:黑客社区和安全论坛经常分享针对流行LLM的成功(和不成功)攻击技术。

3. 人工引导式试探

当自动化探测成本过高或容易被检测到时,人类攻击者的直觉变得非常宝贵。

  • 自适应策略:人类可以根据LLM的回应快速改变策略,这对于查询预算有限的自动化脚本来说可能更难编程。
  • 创意提示词 (prompt)制作:制作新颖的、利用语言或上下文 (context)细微差别的提示词,对人类而言通常比对算法更容易,尤其是在尝试绕过复杂过滤器时。

策略组合:典型攻击者画像

关键在于效率以及最大化与目标LLM每次交互的影响。

防御启示

理解这些黑盒 (black box)和资源受限攻击策略对于红队演练非常重要,从而对于构建更强大的LLM防御措施也很有意义。

  • 现实的测试场景:你的红队操作应包含模拟这些限制的场景。不要总是假设你的红队拥有完整的了解或无限的访问权限。
  • 普适性安全措施:对黑盒攻击有效的防御措施(例如,输入验证、上下文 (context)感知输出过滤、基于查询模式的异常检测)通常更具普适性且更难绕过,这比那些依赖于攻击者不知道具体内部细节的防御措施更好。
  • 监控和速率限制:这些变得更加重要。虽然攻击者试图提高效率,但如果存在监控,即使是有限的探测,也可能产生可检测的模式。有效的速率限制可以使许多黑盒优化技术不切实际。

“通过为应对资源丰富且信息有限的对手做好准备,你可以开发出对更广泛威胁更安全的LLM系统。本章末尾的实践练习将让你有机会思考攻击者如何在类似限制下进行信息窃取任务。”

  • Universal and Transferable Adversarial Attacks on Aligned Language Models, Andy Zou, Zifan Wang, J. Zico Kolter, Matt Fredrikson, 2023 arXiv preprint DOI: 10.48550/arXiv.2307.15043 - 这篇论文介绍了可绕过大型语言模型安全对齐的通用对抗性后缀,展示了即使对目标模型的内部机制了解有限,黑盒迁移攻击仍然有效。

© 2026 ApX Machine Learning