趋近智
提示工程与大语言模型应用开发
章节 1: 提示工程核心知识
大型语言模型简介
什么是提示工程？
提示词的构成要素
基本提示技巧
了解LLM温度及其他参数
实际操作：简单提示词实验
章节 2: 进阶提示策略
零样本提示
小样本提示
指令遵循提示
角色设定提示
结构化输出格式 (JSON, Markdown)
思维链提示
自洽性提示
练习：应用高级技巧
章节 3: 提示词设计、迭代与评估
有效提示词设计的方法
管理提示长度和上下文窗口
迭代式提示词优化
评估提示词表现
自动化提示词测试方法
提示词的版本控制
动手实践：提示词优化挑战
章节 4: 与大型语言模型API通信
常见大型语言模型API概览（OpenAI、Anthropic等）
API 认证与安全
使用 Python 发送 API 请求
理解API请求参数
处理API响应
处理 API 错误和速率限制
流式响应
动手实践：搭建一个简单的问答机器人
章节 5: 使用LLM框架构建应用
大型语言模型框架介绍（如LangChain）
核心构成部分：模型、提示、解析器
了解链
LLM应用中的记忆管理
智能体简介
智能体工具的使用
动手实践：开发一个智能体应用
章节 6: 整合大型语言模型与外部数据 (RAG)
标准大语言模型知识的局限
检索增强生成 (RAG) 简介
文档加载与拆分
文本嵌入模型
向量存储简介
实施语义搜索/检索
结合检索到的内容与提示词
RAG 基本流程的实现
实操：构建文档RAG问答系统
章节 7: 输出解析、校验与应用稳定性
LLM输出一致性面临的挑战
提示生成结构化数据（再谈）
使用输出解析器
数据验证技术（例如 Pydantic）
处理解析错误
实施重试机制
内容审核与内容过滤API
实践：实现可靠的输出处理
章节 8: 应用程序开发考量
大语言模型应用代码组织
管理 API 密钥和机密信息
成本估算与监控
基本缓存策略
大型语言模型应用测试
简单部署选项（无服务器、容器）
动手实践：一个简单LLM应用的容器化
大型语言模型应用测试
这部分内容有帮助吗？
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica, 2023 NeurIPS 2023 Datasets and Benchmarks Track DOI: 10.48550/arXiv.2306.05685 - 考察了使用大型语言模型作为其他LLM评估者的有效性，分享了对这种评估方法的见解。
- Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injections, Kai Greshake, Sahar Abdelnabi, Shailesh Mishra, Christoph Endres, Thorsten Holz, Mario Fritz, 2023 arXiv preprint arXiv:2302.12173 (arXiv) DOI: 10.48550/arXiv.2302.12173 - 研究了LLM集成应用程序中的提示注入弱点，提供了具体的示例以及识别和解决的方法。