趋近智
元学习与基础模型中的少样本适应
章节 1: 元学习基本原理回顾
元学习问题定义
元学习方法分类
元学习应用于基础模型的挑战
少量样本学习的评估方法
章节 2: 高级基于梯度的元学习
模型无关元学习 (MAML)
一阶MAML (FOMAML) 与 Reptile
隐式MAML (iMAML)
处理稳定性和梯度方差
基础模型的可扩展性考量
动手实践：实现 FOMAML 用于模型适应
章节 3: 进阶度量元学习
原型网络再探讨
关系网络在少样本学习中的应用
带有注意力机制的匹配网络
深度度量学习方法
高维嵌入的度量学习适配
实践：使用基础模型嵌入实现原型网络
章节 4: 元学习的优化视角
元学习作为双层优化
求解双层问题的算法
超参数优化间的关联
元学习初始化策略
理论收敛性分析
章节 5: 基础模型的少量样本适应策略
参数高效微调 (PEFT) 概述
基础模型适配器模块
低秩适配 (LoRA)
Prompt Tuning 和 Prefix Tuning
比较 PEFT 与 元学习 方法
混合适应策略
动手实践：使用LoRA适配基础模型
章节 6: 元学习实施的规模化
元梯度的计算挑战
内存优化技术
分布式元学习策略
高效的任务抽样与批处理
可扩展性的近似方法
可扩展实现的性能评测
章节 7: 进阶议题与理论考量
贝叶斯元学习方法
持续元学习
强化学习中的元学习
元学习中的泛化界限
信息论视角
待解决的问题与研究方向
元学习应用于基础模型的挑战
这部分内容有帮助吗？
- Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks, Chelsea Finn, Pieter Abbeel, Sergey Levine, 2017 International Conference on Machine Learning (ICML), Vol. 70 (Proceedings of Machine Learning Research (PMLR)) DOI: 10.5555/3305890.3306019 - 介绍了模型无关元学习 (MAML)，这一基础算法的计算要求和优化需求凸显了将元学习应用于大型模型的困难。
- A Survey of Meta-Learning for Few-Shot Learning, Haoqian Wu, Yanzhao Xie, Yunong Wu, Jianqiang Wang, 2021 Neurocomputing, Vol. 461 (Elsevier) DOI: 10.1016/j.neucom.2021.08.067 - 提供了元学习的概述，讨论了各种算法及其挑战，包括与基础模型相关的可扩展性和优化问题。
- LoRA: Low-Rank Adaptation of Large Language Models, Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, 2021 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.2106.09685 - 介绍了低秩适应 (LoRA)，这是一种参数高效的微调方法，解决了在适应大型基础模型时的计算和内存挑战，为元学习的内循环提供了实用方案。
- On the Optimization of Deep Learning Models for Few-Shot Learning, Maithra Raghu, Shreya Chaudhuri, Maël Obé, J. P. Lewis, Jonathon Shlens, Chelsea Finn, 2020 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1909.02271 - 研究了少样本学习模型的优化环境和问题，提供了在扩展这些方法时遇到的稳定性和超参数敏感性问题的见解。