趋近智
Kerb 工具包入门
章节 1: 介绍与首次文本生成
课程概览与设置
工具包的原则
配置LLM提供方
执行你的首次生成调用
处理流式响应
章节 2: 高级提示技巧
提示工程简介
使用模板引擎创建动态提示词
管理和版本化提示
实施少样本提示
从大型语言模型输出中提取结构化数据
解析JSON与代码片段
章节 3: 管理上下文和令牌
上下文窗口的作用
使用分词器统计Token数量
文本截断的策略
复杂提示的令牌预算管理
章节 4: 数据检索的准备工作
数据加载基本原理
从不同来源加载文档
文本分块的原理
应用分块策略
文本预处理以提升检索效果
章节 5: 嵌入与语义搜索
理解文本嵌入
生成嵌入
向量相似度的基本原理
进行语义搜索
嵌入模型的选择
章节 6: 构建检索增强生成 (RAG) 系统
RAG 系统构成
构建一个简易的检索流程
采用不同的搜索方法
通过重排提升相关性
生成时检索内容的管理
章节 7: 构建具备记忆的对话式应用
有状态对话的难题
实现对话缓存记忆
使用摘要记忆进行长对话
在对话中追踪实体
章节 8: 构建自主代理
大型语言模型智能体简介
ReAct 思维与行动模式
构建 ReAct 智能体
定义和使用工具
实施规划-执行型智能体
协调多智能体系统
章节 9: 性能与成本优化
定位性能瓶颈
实现LLM响应缓存
缓存嵌入以减少API调用
缓存失效策略
章节 10: 确保应用程序安全与可靠性
为应用程序添加安全防护
实施内容审核
检测与遮蔽个人信息
大型语言模型应用测试概述
使用模拟对象进行确定性测试
章节 11: 高级功能
使用多模态模型处理图像输入
使用评估指标对LLM输出进行基准测试
为微调准备数据集
使用分词器统计Token数量
这部分内容有帮助吗？
- tiktoken (GitHub repository), OpenAI, 2024 - OpenAI的官方分词器库，为GPT-4和GPT-3.5-Turbo等模型提供编码，包括
cl100k_base和p50k_base编码。 - Neural Machine Translation of Rare Words with Subword Units, Rico Sennrich, Barry Haddow, Alexandra Birch, 2016 Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1 (Association for Computational Linguistics) DOI: 10.18653/v1/P16-1162 - 引入字节对编码（BPE）的原始论文，这是一种将单词分割成子词单元的方法，是许多现代分词器的基础。
- Hugging Face
tokenizerslibrary, Hugging Face, 2024 (Hugging Face) - 关于变压器模型中使用的各种分词器（包括BPE和WordPiece）原理和实现的通用资源。 - SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing, Taku Kudo, John Richardson, 2018 Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (Association for Computational Linguistics) DOI: 10.18653/v1/D18-2012 - 描述了SentencePiece，一种在许多变压器模型中使用的语言无关的子词分词方法。
© 2025 ApX Machine Learning用心打造