趋近智
大型语言模型红队攻防概论
章节 1: 大语言模型红队演练的基本原理
什么是红队演练：概览
红队测试对大型语言模型为何如此重要
LLM漏洞：概述
LLM 红队测试生命周期
LLM红队中的角色与职责
确立LLM红队测试的目标与范围
掌握攻击者的思维方式
法律框架与负责任的披露实践
实践：为模拟LLM红队行动界定范围
章节 2: 了解 LLM 攻击面
提示注入：直接与间接技术
数据投毒：训练数据与微调攻击
模型规避与混淆策略
越狱与角色扮演攻击
从大型语言模型中提取敏感信息
LLM中的拒绝服务与资源耗尽
过度依赖与虚假信息生成
识别大型语言模型API和接口中的攻击途径
实践：分析LLM API的潜在弱点
章节 3: 大型语言模型核心红队技术
手动对抗性提示构造
自动化提示生成与模糊测试
使用开源红队工具
角色型测试：模拟恶意行为者
多轮对话攻击
操纵LLM内存和上下文窗口
识别偏见与有害内容生成
语义相似性用于规避
动手实践：编写对抗性提示
章节 4: 高级规避与数据窃取方法
基于梯度的攻击方法：概述
迁移攻击：使用替代模型
针对LLM的成员推断攻击
大型语言模型的模型反演与窃取技术
绕过输入过滤器和输出清理器
组合多种攻击技术
资源受限与黑盒攻击策略
实践：模拟信息窃取情景
章节 5: 大型语言模型的防御与应对方法
面向大型语言模型的输入校验与清洗
输出内容过滤与内容审核
对抗训练与微调以增强安全防护
用于安全对齐的指令微调
模型监控与异常检测
LLM API的速率限制与访问控制
检测越狱技术
增强大型语言模型系统防御
动手实践：实现一个简单的输入清理器
章节 6: 报告、记录与修复
大型语言模型红队报告的编写结构
明确传达发现与风险
根据影响对漏洞进行优先排序
提出可操作的缓解措施建议
与开发团队合作进行修复工作
复测与修复验证
记录红队行动流程与攻击手法
实践：撰写一份漏洞报告示例章节
语义相似性用于规避
这部分内容有帮助吗？
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Nils Reimers and Iryna Gurevych, 2019 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP) DOI: 10.48550/arXiv.1908.10084 - 介绍了一种生成具有语义含义的句子嵌入的方法，这与大型语言模型如何处理和比较不同提示的含义以及‘利用大型语言模型自身语义空间’的技术直接相关。
- Training language models to follow instructions with human feedback, Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe, 2022 arXiv preprint arXiv:2203.02155 DOI: 10.48550/arXiv.2203.02155 - 描述了InstructGPT以及使用人类反馈强化学习（RLHF）使大型语言模型与人类指令和偏好保持一致的方法，作为语义规避试图规避的先进安全机制的基础参考文献。