最简单的近似形式涉及完全忽略二阶项。像一阶MAML（FOMAML）和Reptile这样的方法，在第二章中已讨论过，属于这一类别。它们将精确的MAML元梯度——它依赖于内循环损失的Hessian矩阵——替换为使用已适应参数计算的梯度，就好像它们是独立变量一样，从而有效地舍弃了 $\nabla^2_{\theta} \mathcal{L}_{\text{task}_i}(\theta'_i)$ 项。

\nabla_{\theta} \mathcal{L}_{\text{meta}}^{\text{FOMAML}} = \sum_{i} \nabla_{\theta} \mathcal{L}_{\text{task}_i}(\theta'_i) \approx \sum_{i} \nabla_{\theta'} \mathcal{L}_{\text{task}_i}(\theta'_i)

虽然显著减少了计算和内存需求（无需对内循环优化路径相对于 $\theta$ 进行微分），但这些一阶方法有时可能导致元收敛速度较慢或次优解，与它们的二阶对应方法相比，因为它们不考虑初始参数 $\theta$ 的变化如何影响内循环适应的结果。

近似二阶信息

当为了稳定性或性能需要保留一些二阶信息，但计算完整的Hessian矩阵不可行时，我们可以采用Hessian-向量积（ $H\mathbf{v}$ ）或相关项的近似方法。

有限差分

MAML更新需要计算如下项： $(\mathbf{I} - \alpha \nabla^2_{\theta} \mathcal{L}_{\text{task}_i}(\theta'_i)) \nabla_{\theta'} \mathcal{L}_{\text{task}_i}(\theta'_i)$ 。计算量最大的部分是Hessian-向量积 $\nabla^2_{\theta} \mathcal{L}_{\text{task}_i}(\theta'_i) \mathbf{v}$ ，其中 $\mathbf{v} = \nabla_{\theta'} \mathcal{L}_{\text{task}_i}(\theta'_i)$ 。这可以使用有限差分进行近似，而无需显式构造Hessian矩阵：

H\mathbf{v} = \nabla^2_{\theta} \mathcal{L}(\theta) \mathbf{v} \approx \frac{\nabla_{\theta} \mathcal{L}(\theta + \epsilon \mathbf{v}) - \nabla_{\theta} \mathcal{L}(\theta - \epsilon \mathbf{v})}{2\epsilon}

这在每个内循环步骤需要额外进行两次梯度计算，虽然仍然成本高昂，但避免了构造和存储 $N \times N$ 的Hessian矩阵（其中 $N$ 是参数数量）。然而，选择步长 $\epsilon$ 带来数值稳定性问题。

隐式MAML (iMAML) 的近似方法

隐式MAML (iMAML)，在第二章中也已介绍，通过运用隐函数定理避免了通过内循环步骤的直接反向传播。其更新通常依赖于求解涉及Hessian矩阵的线性系统，通常需要计算逆Hessian-向量积 $H^{-1}\mathbf{v}$ 。直接求Hessian逆矩阵对于大型模型是不可行的。像共轭梯度（CG）算法这样的迭代方法可以有效地近似 $H^{-1}\mathbf{v}$ ，无需矩阵求逆，仅需要Hessian-向量积（这些积本身可以使用有限差分或自动微分进行近似）。

或者，逆Hessian矩阵可以使用像Neumann级数这样的技术被近似：

H^{-1} \approx \sum_{j=0}^{k} (\mathbf{I} - H)^j

应用这种近似方法需要重复进行Hessian-向量积计算。这些基于迭代或级数的近似方法使得iMAML在内存方面比标准MAML更有效地扩展，与标准MAML相比，尽管每次更新步骤的计算成本仍然相当高。

不同元梯度计算方法的计算途径比较。近似方法以精确度换取更低的计算和内存需求。

替代目标函数

另一种近似策略涉及修改目标函数本身，无论是在内循环还是外循环，以使计算更易处理。

**内循环简化：**在内循环适应期间，与其优化完整的任务损失 $\mathcal{L}_{\text{task}_i}$ ，不如使用一个计算或微分速度更快的简化或替代损失 $\mathcal{L}'_{\text{task}_i}$ 。这可能涉及的技术包括：仅使用模型输出的子集进行损失计算，使用复杂度较低的损失函数，甚至在内循环中仅优化一小部分参数（类似于参数高效调整）。
**外循环简化：**在查询集上评估的元目标 $\mathcal{L}_{\text{meta}}$ 可以潜在地被一个替代项替换，该替代项计算成本更低，或提供更容易计算的梯度。例如，可以采用知识蒸馏方法，在这种方法中，元学习器旨在匹配教师模型的输出分布，而不是直接最小化查询集上的任务损失。

有效替代目标函数的设计需要仔细考量，因为选择不当的替代项可能会使元学习过程偏离原始目标。

与低秩近似的关联

借鉴像LoRA（低秩适应，在第五章中已讨论）这样的参数高效微调方法，可以研究将低秩约束直接融入元学习更新中。元学习器可能学习低秩更新 $\Delta \theta = \mathbf{B}\mathbf{A}$ ，其中 $\mathbf{B}$ 和 $\mathbf{A}$ 是小得多的矩阵，而不是为所有 $N$ 个参数计算密集梯度更新。这可能在受限子空间内近似完整的元梯度更新，显著减少应用更新相关的计算成本，并可能简化元梯度计算本身，如果优化受限于这些低秩因子。这仍是一个活跃的研究方向，研究如何最好地将此类结构近似方法整合到元学习的双层优化框架中。

性能与效率的权衡

认识到所有近似方法都引入了权衡这一点很重要。通过简化计算，我们通常会牺牲一定程度的精度。

一阶方法速度快，但可能无法捕捉复杂的适应动态。
近似二阶方法保留了更多信息，但计算需求仍然高，并可能带来数值稳定性问题或近似误差（例如，来自有限差分或CG收敛容差）。
替代目标函数有为与真实目标略有不同的事物进行优化的风险。

近似方法的选择在很大程度上取决于具体的应用、基础模型的架构、可用的计算资源以及所需的适应性能水平。对不同的近似策略进行基准测试（正如“可扩展实现基准测试”一节中讨论的），对于在可扩展性和有效性之间找到恰当的平衡是必不可少的，特别是在涉及大型基础模型的特定元学习问题中。

这部分内容有帮助吗？

参考文献

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks, Chelsea Finn, Pieter Abbeel, Sergey Levine, 2017 Proceedings of the 34th International Conference on Machine Learning (ICML) DOI: 10.48550/arXiv.1703.03400 - 这篇基础论文介绍了模型无关元学习（MAML），一种基于梯度的元学习算法。它概述了精确二阶元梯度计算的挑战，并讨论了像FOMAML这样的近似方法。
On First-Order Meta-Learning Algorithms, Alex Nichol, Joshua Achiam, John Schulman, 2018 arXiv preprint arXiv:1803.02999 DOI: 10.48550/arXiv.1803.02999 - 本文介绍了Reptile，另一种重要的一阶元学习算法。它通过重复采样任务、在该任务上更新模型，然后将参数移向更新后的参数，实现简单实现和高效率，这对于可扩展性至关重要。