趋近智
Kerb 工具包入门
章节 1: 介绍与首次文本生成
课程概览与设置
工具包的原则
配置LLM提供方
执行你的首次生成调用
处理流式响应
章节 2: 高级提示技巧
提示工程简介
使用模板引擎创建动态提示词
管理和版本化提示
实施少样本提示
从大型语言模型输出中提取结构化数据
解析JSON与代码片段
章节 3: 管理上下文和令牌
上下文窗口的作用
使用分词器统计Token数量
文本截断的策略
复杂提示的令牌预算管理
章节 4: 数据检索的准备工作
数据加载基本原理
从不同来源加载文档
文本分块的原理
应用分块策略
文本预处理以提升检索效果
章节 5: 嵌入与语义搜索
理解文本嵌入
生成嵌入
向量相似度的基本原理
进行语义搜索
嵌入模型的选择
章节 6: 构建检索增强生成 (RAG) 系统
RAG 系统构成
构建一个简易的检索流程
采用不同的搜索方法
通过重排提升相关性
生成时检索内容的管理
章节 7: 构建具备记忆的对话式应用
有状态对话的难题
实现对话缓存记忆
使用摘要记忆进行长对话
在对话中追踪实体
章节 8: 构建自主代理
大型语言模型智能体简介
ReAct 思维与行动模式
构建 ReAct 智能体
定义和使用工具
实施规划-执行型智能体
协调多智能体系统
章节 9: 性能与成本优化
定位性能瓶颈
实现LLM响应缓存
缓存嵌入以减少API调用
缓存失效策略
章节 10: 确保应用程序安全与可靠性
为应用程序添加安全防护
实施内容审核
检测与遮蔽个人信息
大型语言模型应用测试概述
使用模拟对象进行确定性测试
章节 11: 高级功能
使用多模态模型处理图像输入
使用评估指标对LLM输出进行基准测试
为微调准备数据集
实现LLM响应缓存
这部分内容有帮助吗？
- Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, Martin Kleppmann, 2017 (O'Reilly Media) - 涵盖数据存储、分布式系统和缓存机制的基本概念，对设计高效的LLM缓存架构有价值。
- Caching LLM calls, OpenAI, 2023 OpenAI Cookbook (OpenAI) - 提供专门针对大型语言模型API调用实现缓存的实际示例和指导，涵盖键生成和工作流程。
- High Performance Python: Practical Performant Programming for Humans, Micha Gorelick, Ian Ozsvald, 2020 (O'Reilly Media) - 讨论各种优化技术，包括记忆化和缓存，有助于提高与外部服务交互的Python应用程序的效率和速度。
© 2025 ApX Machine Learning用心打造