构建真正更安全的AI系统，不仅需要关注核心LLM的模型对齐 (alignment)算法和评估指标，还需要审视模型之外的整个应用架构。即使是完美对齐的LLM，如果输入存在恶意、输出未经检查或上下文 (context)处理不当，仍可能成为不安全系统的一部分。设计系统架构，使其在整个交互生命周期中都嵌入 (embedding)安全，并采用纵深防御的方法，必不可少。
需要系统性看待安全
仅依赖经过微调 (fine-tuning)的LLM的固有安全属性，无论对齐 (alignment)得多好，在实践中往往不够。有几个因素使得更广泛的系统级视角成为必要：
- 残余风险： 没有完美的对齐技术。模型仍可能表现出不当行为，尤其是在对抗性压力下或遇到分布外输入时。
- 外部交互： LLM通常在更大的应用中运行，可能与外部API、数据库或用户提供的工具交互。这些交互为潜在的安全故障带来了新的层面。
- 操作动态： 上下文 (context)操纵、提示注入或越狱尝试等问题通常针对交互流程，而不仅仅是模型的内部权重 (weight)。
- 效率和专业化： 使用专门的、轻量级组件来处理某些安全检查（例如检测个人身份信息或过滤明显有害的语言）可以更有效率，而不是将所有负担都放在主LLM上。
因此，为安全而设计需要构建一个系统，其中多个组件共同提升整体安全态势。
分层安全架构：纵深防御
一种常见且有效的方法是实施分层安全架构，通常以处理流水线的形式实现。这种策略在数据流的各个阶段应用不同的安全机制，在风险造成损害之前创造多个检测和减轻风险的机会。可以将其视为交互必须通过的一系列检查点。
一个典型的流水线可能如下所示：
分层安全流水线通过多个阶段处理用户输入，然后生成最终输出。每个阶段都提供了进行安全检查和干预的机会。
我们来考察这些可能的阶段：
-
输入预处理和过滤：
- 目的： 在用户输入到达LLM之前进行清理和验证。
- 机制： 检测、阻止或修改恶意模式（例如，已知的越狱提示、提示注入尝试），扫描敏感数据（PII），应用基本的毒性或禁用主题内容过滤器。这些通常是第一道防线，作为输入护栏（在下一节中详细介绍）实现。
- 实现： 可以从简单的正则表达式检查到专门的分类模型。
-
上下文 (context)管理：
- 目的： 安全地管理会话历史和提供给LLM的任何其他上下文信息。
- 机制： 防止上下文投毒，确保遵守上下文长度限制，并可能总结或过滤上下文以删除不相关或有风险的信息。本章后面会介绍相关策略。
-
LLM交互：
- 目的： 根据处理后的输入和上下文生成响应。
- 机制： 这涉及使用第2章和第3章技术开发的核心对齐 (alignment)LLM。其固有的安全属性（无害性、诚实性、有用性）在此处非常重要。系统提示也可以在此阶段用于引导行为。
-
输出后处理和过滤：
- 目的： 在将LLM的原始输出呈现给用户之前进行验证。
- 机制： 应用输出护栏以检查有害内容、策略违规、幻觉 (hallucination)或可能通过模型对齐泄露的敏感信息。集成外部内容审核工具（稍后讨论）。检查与输入约束的一致性。
- 实现： 类似于输入过滤器，使用基于规则的系统、分类器，甚至另一个LLM作为判断器。
-
回退机制：
- 目的： 在任何阶段安全检查失败时，定义安全的默认操作。
- 机制： 系统可以提供预定义的安全响应（例如，“我无法满足该请求”或“我们聊点别的吧”），而不是返回可能有害或无意义的输出（或错误）。
-
监控和日志记录：
- 目的： 持续观察系统行为，记录安全相关事件，并启用潜在问题的警报。
- 机制： 跟踪过滤器激活、被标记 (token)的输出、与安全相关的模型性能指标以及用户反馈。这与第6章讨论的监控技术相关联。
架构考量与权衡
设计这样的架构涉及几个考量：
- 模块化： 将安全组件构建为独立的模块。这使得单个部件的更新、测试和替换更容易，无需彻底改造整个系统。例如，您可以将PII检测模块替换为改进版本。
- 性能： 每个处理层都会增加延迟（L）。总延迟为Lext总计=∑Lext层。复杂的过滤器或多次模型调用（例如，使用LLM作为输出判断器）会显著影响响应时间。您需要平衡所需的安全水平与应用可接受的性能。
- 复杂度： 管理多个组件会增加系统在部署、维护和调试方面的复杂度。
- 配置： 安全机制通常需要仔细配置（例如，内容过滤器的敏感度阈值）。此配置需要妥善管理和版本控制。
- 可测试性： 每个安全组件都应可独立测试，且集成系统需要进行彻底的端到端测试，重点关注安全场景（这与第4章的评估方法和第5章的对抗性测试相关联）。
构建系统级安全架构，超越了仅仅寄希望于核心LLM自身安全的想法。它涉及设计一个结构，其中多个检查和制衡机制协同工作，以最大限度地降低不理想结果的风险，为复杂的AI应用提供纵深防御。接下来的章节将详细介绍适用于这些架构的特定组件，例如护栏和内容审核。
