趋近智
提示工程与大语言模型应用开发
章节 1: 提示工程核心知识
大型语言模型简介
什么是提示工程？
提示词的构成要素
基本提示技巧
了解LLM温度及其他参数
实际操作：简单提示词实验
章节 2: 进阶提示策略
零样本提示
小样本提示
指令遵循提示
角色设定提示
结构化输出格式 (JSON, Markdown)
思维链提示
自洽性提示
练习：应用高级技巧
章节 3: 提示词设计、迭代与评估
有效提示词设计的方法
管理提示长度和上下文窗口
迭代式提示词优化
评估提示词表现
自动化提示词测试方法
提示词的版本控制
动手实践：提示词优化挑战
章节 4: 与大型语言模型API通信
常见大型语言模型API概览（OpenAI、Anthropic等）
API 认证与安全
使用 Python 发送 API 请求
理解API请求参数
处理API响应
处理 API 错误和速率限制
流式响应
动手实践：搭建一个简单的问答机器人
章节 5: 使用LLM框架构建应用
大型语言模型框架介绍（如LangChain）
核心构成部分：模型、提示、解析器
了解链
LLM应用中的记忆管理
智能体简介
智能体工具的使用
动手实践：开发一个智能体应用
章节 6: 整合大型语言模型与外部数据 (RAG)
标准大语言模型知识的局限
检索增强生成 (RAG) 简介
文档加载与拆分
文本嵌入模型
向量存储简介
实施语义搜索/检索
结合检索到的内容与提示词
RAG 基本流程的实现
实操：构建文档RAG问答系统
章节 7: 输出解析、校验与应用稳定性
LLM输出一致性面临的挑战
提示生成结构化数据（再谈）
使用输出解析器
数据验证技术（例如 Pydantic）
处理解析错误
实施重试机制
内容审核与内容过滤API
实践：实现可靠的输出处理
章节 8: 应用程序开发考量
大语言模型应用代码组织
管理 API 密钥和机密信息
成本估算与监控
基本缓存策略
大型语言模型应用测试
简单部署选项（无服务器、容器）
动手实践：一个简单LLM应用的容器化
自动化提示词测试方法
这部分内容有帮助吗？
- Holistic Evaluation of Language Models, Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, Michihiro Yasunaga, Yian Zhang, Deepak Narayanan, Yuhuai Wu, Ananya Kumar, Benjamin Newman, Binhang Yuan, Bobby Yan, Ce Zhang, Christian Cosgrove, Christopher D. Manning, Christopher Ré, Diana Acosta-Navas, Drew A. Hudson, Eric Zelikman, Esin Durmus, Faisal Ladhak, Frieda Rong, Hongyu Ren, Huaxiu Yao, Jue Wang, Keshav Santhanam, Laurel Orr, Lucia Zheng, Mert Yuksekgonul, Mirac Suzgun, Nathan Kim, Neel Guha, Niladri Chatterji, Omar Khattab, Peter Henderson, Qian Huang, Ryan Chi, Sang Michael Xie, Shibani Santurkar, Surya Ganguli, Tatsunori Hashimoto, Thomas Icard, Tianyi Zhang, Vishrav Chaudhary, William Wang, Xuechen Li, Yifan Mai, Yuhui Zhang, Yuta Koreeda, 2023 Transactions on Machine Learning Research (TMLR) DOI: 10.48550/arXiv.2211.09110 - 提供了一个评估大型语言模型（LLMs）的广泛框架，涵盖了多种标准和任务，为自动化测试策略提供了背景信息。
- BERTScore: Evaluating Text Generation with BERT, Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi, 2020 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1904.09675 - 提出了一种基于上下文嵌入的语义相似度来评估文本生成质量的常用指标，与自动化评估相关。
- LangChain Evaluation, LangChain Team, 2024 (LangChain) - 流行大型语言模型框架的评估功能官方文档，展示了自动化测试工作流的实际实现。