趋近智
LangChain：构建生产级大语言模型应用
章节 1: 高级 LangChain 架构与定制
LangChain 表达式语言 (LCEL) 内部机制
异步操作与并发
定制核心组件：LLM、提示词、解析器
高级输出解析策略
复杂链中的状态管理
调试 LangChain 执行流程
动手实战：构建自定义链组件
章节 2: 构建高级智能体和工具
代理架构：ReAct、Self-Ask、Plan-and-Execute
为智能体开发自定义工具
工具错误处理与代理恢复
多智能体系统与协作模式
结构化工具调用与功能整合
代理执行追踪与分析
实操：用自定义API工具构建智能体
章节 3: 高级内存管理技巧
高级内存类型的比较
实现持久化记忆存储
上下文窗口管理策略
自定义记忆模块开发
将记忆模块整合到代理和链条中
异步应用中的内存管理
实战演练：实现向量存储记忆
章节 4: 生产级数据整合与检索
高级文档加载与转换
向量数据库的选择与大规模优化
精进的索引策略
混合搜索的实现
重排与查询转换
数据更新与同步管理
实践：构建优化过的RAG管道
章节 5: 评估、监控与可观测性
LangSmith 生产应用简介
定义自定义评估指标
自动化评估流程
使用 LangSmith 进行调试和根本原因分析
监控应用程序性能和成本
与第三方可观测性平台集成
人工参与的反馈与标注
实践：使用LangSmith评估代理
章节 6: LangChain 应用的优化与扩容
识别性能瓶颈
LLM 调用优化方法
成本管理与令牌用量追踪
扩展数据检索系统
处理高并发和高吞吐量
离线任务的批量处理
实践：LangChain 链的性能调优
章节 7: 生产部署策略
LangChain 项目的部署结构
使用 Docker 容器化 LangChain 应用
部署选项：服务器、Kubernetes、无服务器
LangChain的无服务器部署模式
管理环境变量和敏感信息
设置CI/CD流水线
蓝绿部署和金丝雀部署策略
实战：通过Docker部署LangChain应用
章节 8: LangChain应用中的安全考量
理解LLM应用中的攻击途径
输入验证与清洗
缓解提示注入风险
安全输出处理与解析
自定义工具和API交互的安全性
数据隐私与敏感信息处理
依赖安全管理
实践：实现输入验证
人工参与的反馈与标注
这部分内容有帮助吗？
- Training Language Models to Follow Instructions with Human Feedback, Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe, 2022 arXiv preprint arXiv:2203.02155 DOI: 10.48550/arXiv.2203.02155 - 本文介绍了InstructGPT，展示了如何通过人类反馈强化学习（RLHF）使语言模型与用户意图和偏好对齐，从而使其更具帮助性且危害性更小。
- Beyond Accuracy: Behavioral Testing of NLP Models with CheckList, Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh, 2020 Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (Association for Computational Linguistics) DOI: 10.18653/v1/2020.acl-main.440 - 本文提出了一种超越传统指标的自然语言处理模型评估方法，侧重于行为测试和人类可解释的能力，这对于理解LLM自动化评估的局限性非常相关。
- Human-in-the-Loop Machine Learning: Active Learning and Annotation for Adaptive Algorithms, Robert (Munro) Monarch, 2021 (Manning Publications) - 一本指南，涵盖了构建人机协作（Human-in-the-Loop）系统的原理、方法和策略，包括数据标注、主动学习和部署自适应机器学习解决方案。
- How to log feedback, LangChain, 2024 (LangChain) - 官方文档，详细介绍了如何以编程方式将人类反馈记录到LangSmith，用于跟踪和分析LangChain应用程序的运行情况。