趋近智
Python 大型语言模型工作流：方法与优选实践
章节 1: Python LLM 工作流入门
什么是LLM工作流？
LLM 应用的常见组成部分
为什么选择Python进行LLM开发？
Python LLM 生态系统概览
课程结构与目标
章节 2: 配置用于大型语言模型 (LLM) 开发的 Python 环境
选择你的Python版本
虚拟环境 (venv, conda)
使用pip和requirements.txt管理依赖
核心库安装
安全配置 API 密钥
开发环境配置实践
章节 3: 使用 Python 与 LLM API 交互
认识LLM API
使用requests库发送API请求
处理API响应和错误
使用官方Python客户端库
认证方式
速率限制与成本管理要点
练习：调用LLM API
章节 4: 核心LLM工作流库：LangChain基础
LangChain 介绍
主要构成：模型、提示词、输出解析器
在 LangChain 中使用不同的 LLM 服务
创建和使用提示模板
解析大型语言模型输出结构
动手实践：构建一个简单的LangChain应用
章节 5: 高级 LangChain：链与代理
理解用于顺序操作的链
构建自定义链
代理介绍：LLM作为推理引擎
代理可用工具
建立一个基本智能体
调试链和代理
实践：实现多步链
章节 6: 大型语言模型数据处理：LlamaIndex基础
LlamaIndex 简介
加载数据 (文档、网页)
高效检索的数据索引
理解节点和索引
查询您的已索引数据
动手实践：文档索引与查询
章节 7: 构建检索增强生成 (RAG) 系统
检索增强生成原理
将 LlamaIndex/LangChain 整合用于 RAG
向量数据库和嵌入技术概述
搭建一个基础向量库
构建 RAG 流程
评估 RAG 性能指标
实践：构建一个简单的RAG应用
章节 8: Python 中的提示工程技术
有效提示的原则
少量样本提示技巧
为复杂任务构建提示词
使用 Python 进行动态指令生成
减少幻觉的方法
迭代式提示词优化
实践：开发和测试提示
章节 9: LLM 应用的测试与评估
LLM系统测试中的难题
单元测试组件
集成测试流程
评估策略：指标与人工反馈
使用框架进行评估
LLM 交互的日志记录与监控
实践：为LLM链设置基本测试
章节 10: 部署与运维优良实践
打包您的 Python LLM 应用程序
使用 Docker 进行容器化
选择部署策略
API 端点创建 (FastAPI, Flask)
监控已部署的应用程序
LLM项目的版本控制与CI/CD
运行考量与维护
评估策略：指标与人工反馈
这部分内容有帮助吗？
- Introduction to Information Retrieval, Christopher D. Manning, Prabhakar Raghavan, and Hinrich Schütze, 2008 (Cambridge University Press) - 一本信息检索基础教材，包含精确率、召回率、F1分数、MRR和NDCG等标准评估指标。
- BLEU: a Method for Automatic Evaluation of Machine Translation, Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu, 2002 Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (Association for Computational Linguistics) DOI: 10.3115/1073083.1073135 - 介绍了BLEU，一种广泛用于通过与参考译文比较来评估机器翻译文本质量的指标。
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Nils Reimers and Iryna Gurevych, 2019 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (Association for Computational Linguistics) DOI: 10.18653/v1/D19-1410 - 展示了Sentence-BERT，一种BERT的改进，生成有语义意义的句子嵌入，适用于语义相似性等任务。
- Holistic Evaluation of Language Models, Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, et al., 2023 Transactions on Machine Learning Research (TMLR) DOI: 10.48550/arXiv.2211.09110 - 提出了一个评估语言模型的广泛框架，涵盖多样的指标、场景和人类偏好，解决了传统指标的局限性。