趋近智
元学习与基础模型中的少样本适应
章节 1: 元学习基本原理回顾
元学习问题定义
元学习方法分类
元学习应用于基础模型的挑战
少量样本学习的评估方法
章节 2: 高级基于梯度的元学习
模型无关元学习 (MAML)
一阶MAML (FOMAML) 与 Reptile
隐式MAML (iMAML)
处理稳定性和梯度方差
基础模型的可扩展性考量
动手实践：实现 FOMAML 用于模型适应
章节 3: 进阶度量元学习
原型网络再探讨
关系网络在少样本学习中的应用
带有注意力机制的匹配网络
深度度量学习方法
高维嵌入的度量学习适配
实践：使用基础模型嵌入实现原型网络
章节 4: 元学习的优化视角
元学习作为双层优化
求解双层问题的算法
超参数优化间的关联
元学习初始化策略
理论收敛性分析
章节 5: 基础模型的少量样本适应策略
参数高效微调 (PEFT) 概述
基础模型适配器模块
低秩适配 (LoRA)
Prompt Tuning 和 Prefix Tuning
比较 PEFT 与 元学习 方法
混合适应策略
动手实践：使用LoRA适配基础模型
章节 6: 元学习实施的规模化
元梯度的计算挑战
内存优化技术
分布式元学习策略
高效的任务抽样与批处理
可扩展性的近似方法
可扩展实现的性能评测
章节 7: 进阶议题与理论考量
贝叶斯元学习方法
持续元学习
强化学习中的元学习
元学习中的泛化界限
信息论视角
待解决的问题与研究方向
可扩展实现的性能评测
这部分内容有帮助吗？
- Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks, Chelsea Finn, Pieter Abbeel, and Sergey Levine, 2017 Proceedings of the 34th International Conference on Machine Learning, Vol. 70 (PMLR) DOI: 10.5591/978-1-57766-810-3 - 介绍MAML的开创性论文，MAML是一种核心元学习算法。有助于理解适应性能和计算方面。
- Language Models are Few-Shot Learners, Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Anna Ramesh, Daniel M. Ziegler, Jeff Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei, 2020 Advances in Neural Information Processing Systems, Vol. 33 (Curran Associates, Inc.) DOI: 10.48550/arXiv.2005.14165 - 展示了GPT-3这一大型基础模型，讨论了其少样本学习能力和规模化评估。为基础模型的基准测试提供了背景。
- LoRA: Low-Rank Adaptation of Large Language Models, Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen, 2022 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.2106.09685 - 介绍了LoRA，一种参数高效微调（PEFT）方法，是可扩展实现中效率比较的重要基线。
- Measuring and Improving Reproducibility in Deep Reinforcement Learning, Lena von Kügelgen, David W. Zhang, Andrew L. Maas, Daniel S. Takeshita, Moritz Knoth, Alex Hernandez-Garcia, Stefan Preuss, and Alexia J. Zou, 2020 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1909.06830 - 讨论了深度学习中可复现性和可靠实验设计的重要性，为建立可靠的基准测试实验提供了见解。