趋近智
LangChain：构建生产级大语言模型应用
章节 1: 高级 LangChain 架构与定制
LangChain 表达式语言 (LCEL) 内部机制
异步操作与并发
定制核心组件：LLM、提示词、解析器
高级输出解析策略
复杂链中的状态管理
调试 LangChain 执行流程
动手实战：构建自定义链组件
章节 2: 构建高级智能体和工具
代理架构：ReAct、Self-Ask、Plan-and-Execute
为智能体开发自定义工具
工具错误处理与代理恢复
多智能体系统与协作模式
结构化工具调用与功能整合
代理执行追踪与分析
实操：用自定义API工具构建智能体
章节 3: 高级内存管理技巧
高级内存类型的比较
实现持久化记忆存储
上下文窗口管理策略
自定义记忆模块开发
将记忆模块整合到代理和链条中
异步应用中的内存管理
实战演练：实现向量存储记忆
章节 4: 生产级数据整合与检索
高级文档加载与转换
向量数据库的选择与大规模优化
精进的索引策略
混合搜索的实现
重排与查询转换
数据更新与同步管理
实践：构建优化过的RAG管道
章节 5: 评估、监控与可观测性
LangSmith 生产应用简介
定义自定义评估指标
自动化评估流程
使用 LangSmith 进行调试和根本原因分析
监控应用程序性能和成本
与第三方可观测性平台集成
人工参与的反馈与标注
实践：使用LangSmith评估代理
章节 6: LangChain 应用的优化与扩容
识别性能瓶颈
LLM 调用优化方法
成本管理与令牌用量追踪
扩展数据检索系统
处理高并发和高吞吐量
离线任务的批量处理
实践：LangChain 链的性能调优
章节 7: 生产部署策略
LangChain 项目的部署结构
使用 Docker 容器化 LangChain 应用
部署选项：服务器、Kubernetes、无服务器
LangChain的无服务器部署模式
管理环境变量和敏感信息
设置CI/CD流水线
蓝绿部署和金丝雀部署策略
实战：通过Docker部署LangChain应用
章节 8: LangChain应用中的安全考量
理解LLM应用中的攻击途径
输入验证与清洗
缓解提示注入风险
安全输出处理与解析
自定义工具和API交互的安全性
数据隐私与敏感信息处理
依赖安全管理
实践：实现输入验证
自动化评估流程
这部分内容有帮助吗？
- LangChain Evaluation Overview, LangChain, 2024 - LangChain评估模块的官方指南，涵盖评估器、数据集以及与LangSmith集成以构建自动化评估流程。
- MLOps: Continuous delivery and automation pipelines in machine learning, Clemens Mewald and Evgeni Begel, 2021 Google Cloud Architecture Center (Google Cloud) - 本资源涵盖自动化ML模型生命周期的背景，包括持续评估，这对自动化评估流程很重要。
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica, 2023 NeurIPS 2023 Datasets and Benchmarks Track DOI: 10.48550/arXiv.2306.05685 - 本文介绍使用LLM作为其他LLM评估器的方法，这是本节讨论的一种评估器类型。
- Data Validation for Machine Learning: A Practical Guide, Robert Monarch, 2021 (O'Reilly Media) - 本书讨论机器学习模型数据质量和验证的重要性，影响“评估数据集”部分和“数据集维护”挑战。