趋近智
Kerb 工具包入门
章节 1: 介绍与首次文本生成
课程概览与设置
工具包的原则
配置LLM提供方
执行你的首次生成调用
处理流式响应
章节 2: 高级提示技巧
提示工程简介
使用模板引擎创建动态提示词
管理和版本化提示
实施少样本提示
从大型语言模型输出中提取结构化数据
解析JSON与代码片段
章节 3: 管理上下文和令牌
上下文窗口的作用
使用分词器统计Token数量
文本截断的策略
复杂提示的令牌预算管理
章节 4: 数据检索的准备工作
数据加载基本原理
从不同来源加载文档
文本分块的原理
应用分块策略
文本预处理以提升检索效果
章节 5: 嵌入与语义搜索
理解文本嵌入
生成嵌入
向量相似度的基本原理
进行语义搜索
嵌入模型的选择
章节 6: 构建检索增强生成 (RAG) 系统
RAG 系统构成
构建一个简易的检索流程
采用不同的搜索方法
通过重排提升相关性
生成时检索内容的管理
章节 7: 构建具备记忆的对话式应用
有状态对话的难题
实现对话缓存记忆
使用摘要记忆进行长对话
在对话中追踪实体
章节 8: 构建自主代理
大型语言模型智能体简介
ReAct 思维与行动模式
构建 ReAct 智能体
定义和使用工具
实施规划-执行型智能体
协调多智能体系统
章节 9: 性能与成本优化
定位性能瓶颈
实现LLM响应缓存
缓存嵌入以减少API调用
缓存失效策略
章节 10: 确保应用程序安全与可靠性
为应用程序添加安全防护
实施内容审核
检测与遮蔽个人信息
大型语言模型应用测试概述
使用模拟对象进行确定性测试
章节 11: 高级功能
使用多模态模型处理图像输入
使用评估指标对LLM输出进行基准测试
为微调准备数据集
定位性能瓶颈
这部分内容有帮助吗？
- Retrieval-Augmented Generation for Large Language Models: A Survey, Yuan-Fang Li, Genggeng Hao, Chunyang Li, Jingyang Ding, Yutong Zhou, Yanmin An, Gang Chen, Jianxin Li, Jun Liu, Xiang Li, Huaijun Li, Yu Han, Haoran Chen, Weizhao Li, Guodong Long, Ruoyu Chen, Cheng Chen, Jie Xu, Chunjing Gan, Quan Z. Sheng, Lei Pan, Kun Xu, Chen Wang, Wei Luo, Shirui Pan, Lei Wang, Xiaohui Tao, Minjuan Zhu, Jie Hu, Faliang Huang, Yonghong Kang, Yi Hu, Jingjing Xu, Tongtong Li, Yuxin Li, Zaiyu Li, Jiawen Lin, Wei Chen, Xifeng Yan, Xiangliang Zhang, Hongzhi Yin, Kai Chen, Bo Li, Guanghua Wang, Quan Li, Zhicheng Dou, Yanyan Shen, Yiming Li, Feifei Li, Chuan Zhou, Pengfei Wang, Peng Zhang, Jinyang Li, Xiangyu Fan, Ruimao Zhang, Dong Guo, Wei Xu, Linzhang Wang, Zhenyu Wang, Yi Wu, Jiajin Li, Qiang Wei, Yang Yang, Xindong Wu, Jianshe Zhou, Zhaoyu Wang, Hao Wang, Xinzhi Gao, Yanchun Zhang, 2024 ACM Computing Surveys, Vol. 56 (ACM) DOI: 10.1145/3639089 - 一项关于LLM中检索增强生成（RAG）的全面调查，涵盖了架构、挑战和优化策略，对于理解RAG应用程序的性能考量非常相关。
- Best practices for API usage, OpenAI, 2023 (OpenAI) - OpenAI的官方指南，提供了与API交互时降低延迟和成本的策略，包括缓存和批量处理等技术，以解决已识别的瓶颈问题。
- Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, Martin Kleppmann, 2017 (O'Reilly Media) - 一本关于构建健壮、可扩展和高性能数据系统的基础书籍，提供了理解和优化分布式应用程序中延迟、吞吐量和成本的原则，适用于LLM系统的底层基础设施。
© 2025 ApX Machine Learning用心打造