趋近智
大型语言模型入门
章节 1: 了解大型语言模型
什么是人工智能？简单介绍
自然语言处理 (NLP) 简介
定义大型语言模型（LLMs）
LLM如何从文本数据中学习
LLM能完成的任务示例
大型语言模型的常见误解
章节 2: 大型语言模型的工作原理（简化版）
词语表示：分词和嵌入
预测下一个词：核心理念
训练数据规模的作用
理解模型参数
Transformer架构（高层）简介
语境如何影响生成
章节 3: 与大型语言模型沟通：提示词
什么是提示词？
基本提示技巧
明确给出指示
提供示例（少样本提示）
控制输出长度和格式
常见提示问题
练习：编写你的第一个提示
章节 4: 认识不同的大语言模型
基础模型概览
通用模型与专用模型对比
开放模型与封闭模型：有何不同？
理解模型大小与能力
模型使用方法：API与界面
章节 5: 使用预训练大语言模型
什么是预训练模型？
查找与选择大语言模型服务
通过网页界面交互
LLM API使用简介
发送您的第一个API请求
解释 LLM 响应
动手实践：简单的文本生成任务
理解模型大小与能力
这部分内容有帮助吗？
- Scaling Laws for Neural Language Models, Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei, 2020 arXiv preprint arXiv:2001.08361 DOI: 10.48550/arXiv.2001.08361 - 一篇开创性论文，量化了语言模型性能与模型大小、计算预算和数据集规模之间的关系。
- Language Models are Few-Shot Learners, Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei, 2020 Advances in Neural Information Processing Systems, Vol. 33 (NeurIPS) DOI: 10.5591/978-0-9799981-0-1.vol33.abs175 - 介绍了GPT-3，一个拥有1750亿参数的模型，展示了大型模型如何通过少量样本（少样本学习）获得强大性能。
- Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本基础教材，全面解释了神经网络，包括参数在模型学习和表示中的作用。
- A Survey of Large Language Models, Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu, Peiyu Liu, Jian-Yun Nie, Ji-Rong Wen, 2023 arXiv preprint arXiv:2303.18223 DOI: 10.48550/arXiv.2303.18223 - 一份近期调查，概述了大型语言模型、其架构、训练方法、能力及相关挑战。