趋近智
提示工程与大语言模型应用开发
章节 1: 提示工程核心知识
大型语言模型简介
什么是提示工程？
提示词的构成要素
基本提示技巧
了解LLM温度及其他参数
实际操作：简单提示词实验
章节 2: 进阶提示策略
零样本提示
小样本提示
指令遵循提示
角色设定提示
结构化输出格式 (JSON, Markdown)
思维链提示
自洽性提示
练习：应用高级技巧
章节 3: 提示词设计、迭代与评估
有效提示词设计的方法
管理提示长度和上下文窗口
迭代式提示词优化
评估提示词表现
自动化提示词测试方法
提示词的版本控制
动手实践：提示词优化挑战
章节 4: 与大型语言模型API通信
常见大型语言模型API概览（OpenAI、Anthropic等）
API 认证与安全
使用 Python 发送 API 请求
理解API请求参数
处理API响应
处理 API 错误和速率限制
流式响应
动手实践：搭建一个简单的问答机器人
章节 5: 使用LLM框架构建应用
大型语言模型框架介绍（如LangChain）
核心构成部分：模型、提示、解析器
了解链
LLM应用中的记忆管理
智能体简介
智能体工具的使用
动手实践：开发一个智能体应用
章节 6: 整合大型语言模型与外部数据 (RAG)
标准大语言模型知识的局限
检索增强生成 (RAG) 简介
文档加载与拆分
文本嵌入模型
向量存储简介
实施语义搜索/检索
结合检索到的内容与提示词
RAG 基本流程的实现
实操：构建文档RAG问答系统
章节 7: 输出解析、校验与应用稳定性
LLM输出一致性面临的挑战
提示生成结构化数据（再谈）
使用输出解析器
数据验证技术（例如 Pydantic）
处理解析错误
实施重试机制
内容审核与内容过滤API
实践：实现可靠的输出处理
章节 8: 应用程序开发考量
大语言模型应用代码组织
管理 API 密钥和机密信息
成本估算与监控
基本缓存策略
大型语言模型应用测试
简单部署选项（无服务器、容器）
动手实践：一个简单LLM应用的容器化
评估提示词表现
这部分内容有帮助吗？
- Holistic Evaluation of Language Models, Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, Michihiro Yasunaga, Yian Zhang, Deepak Narayanan, Yuhuai Wu, Ananya Kumar, Benjamin Newman, Binhang Yuan, Bobby Yan, Ce Zhang, Christian Cosgrove, Christopher D. Manning, Christopher Ré, Diana Acosta-Navas, Drew A. Hudson, Eric Zelikman, Esin Durmus, Faisal Ladhak, Frieda Rong, Hongyu Ren, Huaxiu Yao, Jue Wang, Keshav Santhanam, Laurel Orr, Lucia Zheng, Mert Yuksekgonul, Mirac Suzgun, Nathan Kim, Neel Guha, Niladri Chatterji, Omar Khattab, Peter Henderson, Qian Huang, Ryan Chi, Sang Michael Xie, Shibani Santurkar, Surya Ganguli, Tatsunori Hashimoto, Thomas Icard, Tianyi Zhang, Vishrav Chaudhary, William Wang, Xuechen Li, Yifan Mai, Yuhui Zhang, Yuta Koreeda, 2023 Transactions on Machine Learning Research DOI: 10.48550/arXiv.2211.09110 - 提供了一个全面的框架，用于评估大型语言模型在各种能力、场景和指标下的表现，为理解模型性能和局限性提供系统方法。
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Nils Reimers and Iryna Gurevych, 2019 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (Association for Computational Linguistics) DOI: 10.18653/v1/D19-1410 - 提出了一种用于生成具有语义意义的句子嵌入的方法，可用于语义相似性等任务，直接支持了自动化评估指标部分。
- BLEU: a Method for Automatic Evaluation of Machine Translation, Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu, 2002 Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (Association for Computational Linguistics) DOI: 10.3115/1073083.1073135 - 一篇介绍BLEU指标的奠基性论文，该指标广泛用于评估机器翻译系统生成文本的质量，也适用于其他生成式任务。