仅凭对抗PGD或FGSM等一套标准攻击来评估防御机制可能具有误导性。设想你在门上安装了一把新的高安全锁。你可能会感到安全，因为它能抵御常见的撬锁技术。然而，一个坚定的入侵者可能会分析该锁的特定机制，并找出一种新的绕过方法，或许是利用其独特的设计特点。类似地，在对抗性机器学习 (machine learning)中，防御措施通常对它们为之设计的攻击表现良好，但它们可能容易受到专门为针对其弱点而设计的攻击。这正是自适应攻击发挥作用的地方。

自适应攻击是一种专门设计用于规避特定防御机制的对抗性攻击策略。与一般性操作的标准攻击不同，自适应攻击者拥有关于防御机制的信息（通常是完全白盒细节），并相应地调整他们的攻击策略。进行自适应攻击评估对于真实理解模型的安全状态必不可少。若无此评估，报告的鲁棒性数据可能代表一种虚假的安全感。

标准评估为何不足

许多防御技术是为了应对现有已知攻击而开发的。例如，一种防御措施可能成功缓解具有$L_\infty$约束的标准PGD攻击。然而，这种成功并不能确保抵御以下情况的鲁棒性：

1. 不同攻击目标： 防御措施可能抵御错误分类攻击，但对旨在降低置信度分数或针对特定错误类别的攻击则会失效。
2. 不同扰动约束： 对抗$L_\infty$攻击的鲁棒性并不自动意味着对抗$L_2$或$L_0$攻击的鲁棒性，这些攻击会生成视觉上不同的扰动。自适应攻击者将选择对防御措施最有效或受其约束最小的范数。
3. 攻击防御组成部分： 防御措施可能涉及多个阶段（例如，输入转换后进行分类）。标准攻击可能只针对最终输出，而自适应攻击可能会尝试绕过转换阶段或寻找转换无效的输入。
4. 梯度混淆： 这是一种常见且不易察觉的失效模式。有些防御措施使模型对输入变化的损失变得非常“平坦”或“嘈杂”。这会破坏标准基于梯度的攻击（如FGSM、PGD），因为梯度信号变得信息不足或消失。模型看起来很鲁棒，因为攻击算法无法找到优化扰动的方向。然而，漏洞通常仍然存在，并且可以使用不同、无梯度或梯度近似的攻击方法来找到。

混淆梯度的问题

梯度混淆（有时称为梯度遮蔽）是评估防御措施时的一个重要难题。它发生在防御机制有意或无意地阻碍许多强大攻击所需的梯度计算或有效性时。

考虑一个标准攻击，如PGD：

$$x_{adv}^{(t+1)} = \Pi_{\mathcal{B}(x, \epsilon)} \left( x_{adv}^{(t)} + \alpha \cdot \text{sign}(\nabla_{x_{adv}^{(t)}} L(\theta, x_{adv}^{(t)}, y)) \right)$$

此更新严重依赖损失$L$相对于输入$x_{adv}^{(t)}$的梯度。如果防御措施导致$abla_x L$接近零、高度随机化或数值不稳定，PGD攻击将无法找到有效的扰动，即使模型不具备鲁棒性。

可能导致梯度混淆的技术包括：

• 破碎梯度： 使用不可微分操作或数值不稳定性。
• 随机梯度： 在前向或后向传播期间引入随机性（例如，随机输入转换，随机激活函数 (activation function)）。标准梯度下降 (gradient descent)难以处理高度随机化的目标。
• 梯度消失/爆炸： 导致梯度极小或极大的防御操作，使优化变得困难。

检测梯度混淆非常重要。迹象包括：

• 对强梯度攻击（如多步PGD）具有极高鲁棒性，但对无梯度攻击（如SPSA或Boundary Attack）却接近零鲁棒性。
• 攻击成功率不会随更多迭代或更强扰动预算（$\epsilon$）的增加而明显提高。
• 从未防御模型成功进行迁移攻击。如果为标准模型制作的对抗性样本也能愚弄防御模型，这表明防御措施并非根本上强大。

设计有效的自适应攻击

正确评估防御措施需要设身处地地站在了解防御机制的知识型攻击者角度。该过程通常包括以下步骤：

1. 彻底理解防御机制：

   • 它是在训练还是推理 (inference)期间应用的？
   • 它是否修改输入数据（例如，转换、量化 (quantization)）？
   • 它是否修改模型架构或训练过程（例如，对抗训练、优化）？
   • 它是否涉及随机化？
   • 它是否尝试检测对抗性样本？
   • 涉及哪些精确的数学运算？

2. 识别潜在的绕过策略： 基于对机制的理解，集思广益绕过防御的方法。

   • 输入转换： 攻击能否在转换之前优化扰动？它能否找到转换效果甚微的输入？对于随机转换，转换期望（EOT）通常是必要的。
   • 随机防御： EOT是标准方法。不是为单次前向传播计算梯度，而是计算防御多次随机化后的期望梯度。

EOT梯度计算

def compute_eot_gradient(model_with_defense, x, y, num_samples=10):
    grads = []
    for _ in range(num_samples):
        # 在前向传播内部应用随机防御
        logits = model_with_defense(x)
        loss = compute_loss(logits, y)
        # 计算此随机实例的梯度
        grad = compute_gradient(loss, x)
        grads.append(grad)
    # 平均梯度
    return np.mean(grads, axis=0)

# 在PGD/其他攻击中使用此平均梯度
eot_grad = compute_eot_gradient(model, x_adv, y_true)
x_adv = x_adv + alpha * np.sign(eot_grad)
# ... 投影步骤 ...
```
*   **梯度混淆：** 使用不依赖精确梯度的攻击。实例包括：
    *   **边界攻击：** 一种仅需要最终分类标签的决策型攻击。
    *   **HopSkipJumpAttack：** 另一种有效的决策型攻击。
    *   **同步扰动随机近似（SPSA）：** 仅使用两次函数评估来估计梯度，适用于嘈杂或不存在的梯度。
    *   **后向传播微分近似（BPDA）：** 对于具有不可微分组件的防御，将有问题的后向传播操作替换为近似的、可微分的操作（例如，恒等函数）。
*   **检测机制：** 如果防御措施尝试检测对抗性样本，自适应攻击可能会尝试制作低于检测阈值或模仿良性输入的扰动。
*   **对抗训练：** 尽管对抗训练是一种强大的防御，自适应攻击可能涉及在攻击阶段使用比训练时更多的PGD步骤、不同的步长、随机重启或不同的损失函数（如C&W损失）。

3. 实施并测试自适应攻击： 修改现有的攻击实现（例如，来自ART、CleverHans或Foolbox等库），或开发新代码以整合绕过策略。对防御模型运行攻击，仔细调整攻击参数 (parameter)（迭代次数、步长、EOT样本数等）。

示意图显示了可能被防御措施阻止的标准攻击与旨在规避防御的自适应攻击之间的区别。自适应攻击者根据防御机制的了解来制作更有效的扰动。

自适应评估的最佳做法

• 假设攻击者强大： 在评估时，始终假设攻击者拥有防御机制的完全白盒信息。这代表了最坏的情况，并提供最可靠的安全评估。
• 测试多种攻击类型： 不要依赖单一的自适应攻击。使用多样化的集合，包括基于梯度、基于分数、基于决策和迁移攻击，并根据需要进行调整。
• 调整攻击超参数 (parameter) (hyperparameter)： 自适应攻击通常需要仔细调整（例如，迭代次数、步长、EOT样本数）才能有效。寻找对防御措施构成最大挑战的设置。
• 对鲁棒性持怀疑态度： 如果防御表现出异乎寻常的鲁棒性（例如，在强攻击下达到100%准确率），这表示存在梯度混淆或评估错误。使用无梯度方法和健全性检查进一步验证。
• 全面记录评估： 清楚地报告使用了哪些攻击、它们是如何调整的、具体的超参数以及假定的威胁模型。这使得其他人能够重现和验证结果。

总而言之，不考虑自适应攻击而评估防御措施，就像在平静的池塘中测试一艘船，并宣称它适合远洋航行一样。真正的韧性只能通过对抗专门设计来破坏系统的挑战来评估。将自适应攻击纳入你的评估流程，不仅仅是良好做法，对于构建真正安全的机器学习 (machine learning)系统而言也是必要的。