趋近智
Python 大型语言模型工作流：方法与优选实践
章节 1: Python LLM 工作流入门
什么是LLM工作流？
LLM 应用的常见组成部分
为什么选择Python进行LLM开发？
Python LLM 生态系统概览
课程结构与目标
章节 2: 配置用于大型语言模型 (LLM) 开发的 Python 环境
选择你的Python版本
虚拟环境 (venv, conda)
使用pip和requirements.txt管理依赖
核心库安装
安全配置 API 密钥
开发环境配置实践
章节 3: 使用 Python 与 LLM API 交互
认识LLM API
使用requests库发送API请求
处理API响应和错误
使用官方Python客户端库
认证方式
速率限制与成本管理要点
练习：调用LLM API
章节 4: 核心LLM工作流库：LangChain基础
LangChain 介绍
主要构成：模型、提示词、输出解析器
在 LangChain 中使用不同的 LLM 服务
创建和使用提示模板
解析大型语言模型输出结构
动手实践：构建一个简单的LangChain应用
章节 5: 高级 LangChain：链与代理
理解用于顺序操作的链
构建自定义链
代理介绍：LLM作为推理引擎
代理可用工具
建立一个基本智能体
调试链和代理
实践：实现多步链
章节 6: 大型语言模型数据处理：LlamaIndex基础
LlamaIndex 简介
加载数据 (文档、网页)
高效检索的数据索引
理解节点和索引
查询您的已索引数据
动手实践：文档索引与查询
章节 7: 构建检索增强生成 (RAG) 系统
检索增强生成原理
将 LlamaIndex/LangChain 整合用于 RAG
向量数据库和嵌入技术概述
搭建一个基础向量库
构建 RAG 流程
评估 RAG 性能指标
实践：构建一个简单的RAG应用
章节 8: Python 中的提示工程技术
有效提示的原则
少量样本提示技巧
为复杂任务构建提示词
使用 Python 进行动态指令生成
减少幻觉的方法
迭代式提示词优化
实践：开发和测试提示
章节 9: LLM 应用的测试与评估
LLM系统测试中的难题
单元测试组件
集成测试流程
评估策略：指标与人工反馈
使用框架进行评估
LLM 交互的日志记录与监控
实践：为LLM链设置基本测试
章节 10: 部署与运维优良实践
打包您的 Python LLM 应用程序
使用 Docker 进行容器化
选择部署策略
API 端点创建 (FastAPI, Flask)
监控已部署的应用程序
LLM项目的版本控制与CI/CD
运行考量与维护
LLM系统测试中的难题
这部分内容有帮助吗？
- Holistic Evaluation of Language Models, Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, Michihiro Yasunaga, Yian Zhang, Deepak Narayanan, Yuhuai Wu, Ananya Kumar, Benjamin Newman, Binhang Yuan, Bobby Yan, Ce Zhang, Christian Cosgrove, Christopher D. Manning, Christopher Ré, Diana Acosta-Navas, Drew A. Hudson, Eric Zelikman, Esin Durmus, Faisal Ladhak, Frieda Rong, Hongyu Ren, Huaxiu Yao, Jue Wang, Keshav Santhanam, Laurel Orr, Lucia Zheng, Mert Yuksekgonul, Mirac Suzgun, Nathan Kim, Neel Guha, Niladri Chatterji, Omar Khattab, Peter Henderson, Qian Huang, Ryan Chi, Sang Michael Xie, Shibani Santurkar, Surya Ganguli, Tatsunori Hashimoto, Thomas Icard, Tianyi Zhang, Vishrav Chaudhary, William Wang, Xuechen Li, Yifan Mai, Yuhui Zhang, Yuta Koreeda, 2023 Transactions on Machine Learning Research DOI: 10.48550/arXiv.2211.09110 - 提出一个评估大型语言模型（LLMs）的框架，涵盖多项指标，强调了在定义和衡量质量方面的挑战。
- On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜, Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, 2021 FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (ACM) DOI: 10.1145/3442188.3445922 - 探讨大型语言模型的伦理问题、偏见以及其训练数据可能导致的有害内容生成。
- Aligning Language Models with Human Preferences through Reinforcement Learning from Human Feedback, Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe, 2022 arXiv preprint arXiv:2203.02155 DOI: 10.48550/arXiv.2203.02155 - 详细介绍使大型语言模型输出与人类偏好对齐的方法，强调了人类反馈在定义和实现理想模型行为中的作用。