高维嵌入的度量学习适配

基础模型，例如大型语言模型（LLM）或视觉Transformer，通常会生成高维嵌入向量，维度常达数千。尽管这些嵌入包含丰富的语义信息，但其高维度在应用原型网络或匹配网络等标准基于度量的元学习算法时会带来一些障碍，因为这些算法高度依赖于嵌入空间中的距离计算。适配这些方法需要理解并减缓高维几何中固有的困难。

维度灾难对距离度量的影响

一个主要困难是“维度灾难”。在高维空间中，点之间的欧几里得距离趋于变得不那么有意义。具体来说，最近点与最远点之间距离的比率趋近于1，仅凭距离难以区分邻近点。这种现象会降低依赖最近邻比较或聚类中心点算法（如原型网络）的性能。

假设从 $d$ 维超立方体中均匀采样 $N$ 个点。随着 $d$ 增加，这些点趋于聚集在边界附近，点对之间的距离变得更均匀。这使得基于距离的相似性区分度降低。余弦相似度衡量向量之间的角度，在处理高维文本或图像嵌入空间时，通常比欧几里得距离更受青睐，因为它对向量的大小和维度灾难的某些方面不那么敏感。然而，即使是余弦相似度，如果嵌入结构不佳也可能效果不理想。

不相关特征与计算成本

基础模型生成的高维嵌入经过大量多样化数据集训练，用于通用表示。对于特定的少样本任务，这些维度中的许多可能不相关，甚至充当噪声，掩盖了对当前任务具有区分作用的维度。在完整嵌入空间上运行的度量学习方法可能难以侧重于相关特征。

此外，计算成对距离或涉及高维向量（例如 $d > 1000$）的矩阵运算会带来显著的计算成本，特别是在元训练阶段，涉及大量任务和比较。

有效适配的策略

可以采用多种策略来适配高维嵌入的度量学习，这些嵌入源自基础模型：

1. 降维

在将嵌入输入度量学习算法之前，应用降维技术是一种常用方法。

• 固定线性投影： 主成分分析（PCA）等技术可以事后应用于基础模型提供的嵌入。PCA寻找主成分（最大方差方向），并允许将数据投影到由主要成分张成的较低维子空间。这可以减少噪声和计算成本。随机投影提供了一种计算成本较低的替代方案，通常基于约翰逊-林登施特劳斯引理，近似保留成对距离。
• 学习投影： 相较于固定投影，可以学习一个线性或非线性投影层 $g_\psi: \mathbb{R}^D \rightarrow \mathbb{R}^d$（其中 $D \gg d$），作为元学习过程的一部分。参数 $\psi$ 与度量学习目标一同进行元学习，以寻找一个针对少样本任务分布进行优化的较低维空间。

权衡点在于潜在的信息损失与改进的度量行为和计算效率。有效性很大程度上取决于下游任务的相关信息是否在较低维子空间中得到保留。

2. 距离度量优化

标准距离度量可能不是最佳选择。替代方法包括：

• 余弦相似度： 如前所述，对于归一化的高维语义嵌入，它通常比欧几里得距离是更好的默认选择。
• 学习距离函数： 相较于固定度量，可以学习一个参数化的距离函数 $d_\theta(x_i, x_j)$。关系网络通过使用神经网络预测相似度得分来隐式实现此功能。此外，可以学习马哈拉诺比斯距离等度量的参数： $$d_M(x_i, x_j) = \sqrt{(x_i - x_j)^T M (x_i - x_j)}$$ 这里，$M$ 是一个半正定矩阵，可以在元训练期间学习，以便针对任务分布适当地缩放和关联维度。学习完整的矩阵 $M$ 可能成本很高（$O(d^2)$ 个参数），因此通常使用对角或低秩近似。

3. 子空间方法

假设对于任何给定任务，只有高维嵌入的一个小部分或子空间是相关的。可以设计方法来识别和使用这些任务特定的子空间。

• 注意力机制： 注意力可以应用于嵌入维度，允许模型根据支持集或查询样本本身动态地加权特征。这使得有效的距离计算能够侧重于嵌入当前相关部分。
• 任务特定投影： 类似于学习投影，但在元测试期间根据任务的支持集为每个任务学习一个不同的投影。这增加了内循环适配的复杂性，但允许更定制化的特征选择。

4. 归一化与缩放

对高维嵌入进行适当的预处理是必不可少的。

• L2归一化： 将嵌入归一化到单位长度（$||x||_2 = 1$）是使用余弦相似度时的标准做法。这确保度量完全侧重于角度（方向）而非大小。
• 中心化与缩放： 标准化特征（即减去均值并除以批次或数据集的标准差）有时会有所帮助，尽管其影响取决于基础模型输出空间的属性。

5. 利用预训练结构

基础模型嵌入不只是随机的高维向量；它们具有预训练期间学习到的结构。度量学习适配应理想地加以应用这种结构。

• 侧重于上层： 如果允许微调，仅适配基础模型的最终层可能足以轻微调整嵌入空间，以获得更好的度量属性，同时避免灾难性遗忘。
• 固定嵌入上的度量学习： 通常，由于计算限制，基础模型保持冻结。在这种情况下，侧重完全转向事后降维、学习合适的距离度量，或直接在（归一化的）固定嵌入上使用原型网络等方法，希望预训练空间已经对相关事物展现出合理的聚类能力。

降维的影响说明

设想一个少样本任务，其中类别是可分离的，但仅沿高维空间中的少数方向。使用欧几里得距离时，其他维度的噪声可能会掩盖这种分离。PCA可以帮助分离相关方差。

在此图中，原始高维嵌入（为便于可视化投影到2D）显示两个类别（蓝色圆点与红色圆点）之间的分离不那么清晰。在应用针对任务定制的降维（例如PCA或学习投影）后，类别在结果较低维空间中变得更可区分（蓝色菱形与红色菱形），使基于距离的分类更具可靠性。

总结来说，尽管基础模型嵌入的高维属性为传统度量学习带来了挑战，但涉及降维、优化距离度量、子空间方法和细致归一化的策略可以实现有效应用。策略的选择通常取决于计算预算、基础模型是固定还是可适配，以及所处理少样本任务的具体特点。