趋近智
基于度量的元学习将重心从梯度方法中直接调整模型参数 (parameter),转移到学习一个嵌入 (embedding)空间 。在这种空间中,新的分类任务通过简单的距离计算就能轻松完成。本章会审视此框架下的进阶技术。
你将学习原型网络、关系网络和匹配网络等主要算法的原理,包括它们的架构变体以及注意力机制 (attention mechanism)的结合。讨论的一个主要部分是如何调整这些方法,使其能与大型基础模型生成的高维嵌入有效配合。我们也将回顾相关深度度量学习目标,例如对比损失和三元组损失 (),这些损失函数 (loss function)常用于训练嵌入函数。本章包含实现这些想法的实用指导,特别是使用从预训练 (pre-training)模型中提取的特征来配合原型网络。
3.1 原型网络再探讨
3.2 关系网络在少样本学习中的应用
3.3 带有注意力机制的匹配网络
3.4 深度度量学习方法
3.5 高维嵌入的度量学习适配
3.6 实践:使用基础模型嵌入实现原型网络