趋近智
检索增强生成 (RAG) 入门
章节 1: 检索增强生成技术简介
标准大型语言模型的局限性
什么是检索增强生成（RAG）？
RAG系统的核心架构
RAG 对比微调：理解其差异
使用RAG的优势
章节 2: 检索组件
检索器在 RAG 中的作用
向量嵌入简介
常用嵌入模型
相似性搜索：查找相关向量
向量数据库简介
选择向量数据库：考量因素
实践：生成文本嵌入
章节 3: 准备检索所需数据
从不同来源加载文档
文档分块的必要性
固定大小分块策略
内容感知的分块方法
数据块的元数据关联
将处理后的数据存储到向量数据库中
动手实践：文档分块
章节 4: 生成模块与增强
生成器（LLM）在RAG中的作用
RAG提示词的结构化
上下文注入方法
管理上下文长度限制
生成最终回复
生成内容中的来源归属
章节 5: 搭建一个基本RAG流程
RAG 框架概述 (例如 LangChain、LlamaIndex)
环境配置
实现检索器
实现生成器集成
结合检索与生成
在流程中执行查询
动手实践：端到端RAG系统
章节 6: RAG系统的评估与改进
评估RAG的挑战
组件层面的评估：检索
组件级别评估：生成
端到端RAG评估框架
常见故障模式
改进的基本策略
实践：分析RAG输出质量
向量嵌入简介
这部分内容有帮助吗？
- Efficient Estimation of Word Representations in Vector Space, Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean, 2013 arXiv preprint arXiv:1301.3781 DOI: 10.48550/arXiv.1301.3781 - 介绍了Word2Vec，一种学习捕获语义和句法关系的密集词嵌入的基础方法，阐明了将词映射到连续空间中向量的核心思想。
- Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems 30, Vol. 30 (Neural Information Processing Systems Foundation, Inc. (NeurIPS)) DOI: 10.5555/3295222.3295349 - 提出了Transformer架构，它已成为许多现代嵌入模型的基础，实现了上下文文本表示的学习。
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, 2019 Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (Association for Computational Linguistics) DOI: 10.18653/v1/N19-1423 - 介绍了BERT，这是基于Transformer的预训练语言模型的一项重要进展，对于生成上下文感知的嵌入至关重要。
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Nils Reimers and Iryna Gurevych, 2019 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (Association for Computational Linguistics) DOI: 10.18653/v1/D19-1410 - 描述了Sentence-BERT，一种从预训练的类BERT模型创建语义化句子和文档嵌入的方法，并针对语义相似性搜索等任务进行了优化。