训练数据规模的作用

这部分内容有帮助吗？

参考文献

Scaling Laws for Neural Language Models, Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei, 2020 arXiv preprint arXiv:2001.08361 DOI: 10.48550/arXiv.2001.08361 - 这篇论文通过实证方法确立了模型性能、模型规模、数据集大小与计算资源之间的关系。它阐明了训练数据量如何影响模型能力。
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu, 2020 Journal of Machine Learning Research, Vol. 21 - 这篇论文介绍了T5模型和C4数据集，一个广泛使用的、源自Common Crawl的公共数据集。它提供了一个准备LLM训练数据时，数据集规模和整理工作的实例。
On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜, Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Margaret Mitchell, 2021 Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (Association for Computing Machinery) DOI: 10.1145/3442188.3445922 - 这项工作批判性地讨论了大型语言模型相关的伦理和社会风险，特别关注了源于其广泛训练数据集中偏见和局限性的问题。