ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

向量数据库与语义搜索实现
章节 1: 向量嵌入与向量空间
从数据到向量:回顾
嵌入模型概述
理解向量维度
降维技术概述
测量向量空间中的相似度
动手实践:生成与比较嵌入
第 1 章测验
章节 2: 向量数据库介绍
什么是向量数据库?
核心架构组成部分
数据模型与数据结构定义
向量操作:CRUD
元数据过滤
扩展考量
实践操作:向量数据库基本交互
第 2 章测验
章节 3: 近似最近邻 (ANN) 搜索
近似的需求
ANN 的核心思想
算法概览:HNSW
算法概述:IVF
算法概述:LSH
索引参数与调优
评估 ANN 性能
动手实践:调整索引参数的试验
第 3 章测验
章节 4: 构建语义搜索系统
语义搜索与关键词搜索再比较
语义搜索流程的架构
数据准备与分块处理
查询处理与向量化
结果排序与再排序
实现混合搜索
评估语义搜索相关性
动手实践:设计搜索查询流程
第 4 章测验
章节 5: 向量数据库的应用实践
选择向量数据库平台
使用 Pinecone 客户端
使用 Weaviate 客户端
使用 Milvus 客户端
使用 ChromaDB 客户端
高效索引大型数据集
监控与维护
动手实践:构建小型语义搜索应用
第 5 章测验

语义搜索与关键词搜索再比较

当我们开始构建端到端的语义搜索流程时,重新审视语义搜索与其前身关键词搜索之间的基本区别是很有价值的。虽然您可能已经从之前的讨论中了解了其不同,但在设计系统内数据和查询的实际流程时,理解它们的核心机制和局限性变得尤为重要。选择合适的方法,甚至将它们结合起来,在很大程度上取决于您应用程序的具体需求。

关键词搜索:匹配词语

传统的关键词搜索系统主要基于词汇匹配。其核心在于识别包含用户查询中特定词语或短语的文档。

  • 索引: 这些系统通常构建倒排索引。这种结构将文档库中找到的每个独有的词(或术语)映射到包含该术语的文档列表,通常还包含位置信息和频率计数。诸如词干提取(将词语还原为词根形式,例如,“running” -> “run”)和词形还原(将词语还原为词典形式,例如,“ran” -> “run”)等技术常用于在索引之前规范化术语。停用词(常见的词语如“the”、“a”、“is”)通常会被移除。
  • 查询: 当用户提交查询时,系统会进行类似处理(分词 (tokenization)、词干提取/词形还原、移除停用词)。然后,系统会在倒排索引中查找已处理的查询术语,以检索匹配的文档。
  • 排序: 相关性通常使用评分算法来确定,例如TF-IDF(词频-逆文档频率)或更现代的变体如BM25(最佳匹配25)。这些算法优先考虑查询术语在文档中出现频率较高(TF)但在整个语料库中相对较少(IDF)的文档,这表示更高的相关性。

局限性: 关键词搜索难以处理歧义和上下文 (context)。

  1. 同义词: 它无法检索使用不同但含义相似的词语的文档。搜索“fast laptop”可能会错过描述“quick notebook”或“high-speed portable computer”的文档。
  2. 多义词: 当查询术语具有多个含义时,它可能会返回不相关的结果。搜索“python”可能会返回关于蛇而不是编程语言的结果,这取决于语料库。
  3. 理解: 它无法把握查询背后的潜在意图或内容。搜索“how to fix a dripping sink”可能会错过一篇标题为“Stopping Leaks in Kitchen Plumbing”的优秀指南,如果其中不包含完全匹配的关键词。

语义搜索:理解含义

语义搜索,由向量 (vector)嵌入 (embedding)和向量数据库驱动,通过操作查询和文档之间的含义或语义相似性来解决这些局限性。

  • 索引: 语义搜索系统不索引术语,而是首先使用预训练 (pre-training)的嵌入模型(如Sentence-BERT或OpenAI的模型)将文本片段(或其他数据)转换为高维数值向量(嵌入)。这些向量捕捉内容的语义核心。向量数据库随后对这些嵌入进行索引,通常使用近似最近邻(ANN)算法(如第3章所述)进行高效检索。相关的元数据通常与向量一同存储。
  • 查询: 当用户提交查询时,相同的嵌入模型会将查询文本转换为向量。系统随后在向量索引中搜索在高维空间 (high-dimensional space)中最接近查询向量的文档向量,使用余弦相似度或欧氏距离等距离度量。
  • 排序: 主要的排序机制是查询向量与文档向量之间的相似度得分(或距离)。向量“更接近”查询向量的文档被认为在语义上更相关。基于元数据或其他信号,可能会应用进一步的重新排序步骤。

优势: 语义搜索在关键词搜索不足的地方表现出色。

  1. 同义词/上下文 (context): 它能自然处理同义词和相关内容。“Fast laptop”和“quick notebook”可能具有相似的向量表示,因此可以为同一个查询被检索到。
  2. 意图识别: 它能更好地理解用户的潜在需求,即使措辞差异很大也能检索到相关信息。“dripping sink”的查询更有可能找到“Stopping Leaks”的指南。

为什么这种区别现在很重要

理解这些差异,在您设计搜索流程(本章的主要内容)时非常重要。

  • 组件选择: 您选择的索引机制(倒排索引与向量 (vector)索引)、查询处理(术语规范化与向量生成)以及排序策略(BM25与向量相似度)直接来源于您是优先考虑词汇匹配还是语义理解。
  • 混合方法: 许多现代系统采用混合搜索,结合两者的优势。关键词搜索对于特定实体查找(例如,产品ID、确切名称)可能有效,而语义搜索则处理更详细的查询。识别两者的不同之处对于设计有效的结合策略(我们将在本章稍后讨论)是必不可少的。
  • 权衡: 关键词搜索通常计算成本较低且更易于解释(您可以根据术语的存在看出文档为何匹配)。语义搜索需要强大的嵌入 (embedding)模型和专门的向量数据库,虽然非常有效,但解释两个向量为何被认为是相似的可能不太直观。

关键词和语义搜索流程的比较,针对查询“fastest laptop”。关键词搜索侧重于术语存在,而语义搜索则使用向量相似性来查找相关文档。

在设计语义搜索流程的架构时,请记住这些基本差异。它们将指导您如何处理数据准备、嵌入生成、索引、查询和结果排序,以构建一个真正理解用户意图的系统。

  • Introduction to Information Retrieval, Christopher D. Manning, Prabhakar Raghavan, and Hinrich Schütze, 2008 (Cambridge University Press) - 本书是信息检索领域的标准教材,全面涵盖了关键词搜索机制、倒排索引、TF-IDF 和 BM25 等传统搜索的基础知识。
  • Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Nils Reimers and Iryna Gurevych, 2019 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (Association for Computational Linguistics) DOI: 10.18653/v1/D19-1410 - 这篇论文介绍了Sentence-BERT,一种广泛采用的方法,用于从类BERT模型生成具有语义意义的句子嵌入,直接展示了语义搜索系统如何生成查询和文档向量。

© 2026 ApX Machine Learning