向量嵌入计算器：规划您的 RAG 基础设施

向量嵌入计算器

规划 RAG 管道基础设施，估算嵌入模型和向量索引的内存、存储和吞吐量。

参数

快速启动场景

嵌入模型

模型预设

嵌入维度

精度

float32 (4B)

float16 (2B)

int8 / scalar (1B)

binary (0.125B)

语料库 / 数据

块 / 向量数量

每文档元数据字节数

索引 / 搜索

索引类型

图连接数 (M)

每节点连接数

搜索质量 (ef_search)

直接影响查询延迟和 QPS

100

500

基础设施

可用内存 (GB)

副本数

操作系统/缓冲区开销 (%)

10%

20%

50%

100%

查询批次大小

存储估算

总计（所有副本）

768.1 MB

768.1 MB x 1 个副本

float32 (4B)

HNSW (graph-based ANN)

100,000
个向量

原始向量

585.9 MB

100,000 x 1536d

索引开销

62.9 MB

HNSW (graph-based ANN)

元数据

19.1 MB

200B per doc

预估 QPS 范围

500-5K

约 15,000-150,000 活跃用户

服务层级

内存中

适合 16 GB 内存

每个副本

768.1 MB

含 15% 开销

内存使用情况

768.1 MB / 16 GB

占可用内存的 4.7%

适合内存：可实现最低延迟搜索

存储分解

原始向量

索引开销

缓冲区 (15%)

原始向量

585.9 MB

76.3%

索引开销

62.9 MB

8.2%

元数据

19.1 MB

2.5%

缓冲区 (15%)

100.2 MB

13.0%

精度 / 量化权衡

降低精度可大幅减少内存需求。现代向量数据库支持从二进制/int8 候选结果中对 float32 结果进行重新评分，从而恢复大部分召回率。

精度	字节/维度	与 float32 相比的内存	与 float32 相比的召回率	备注
float32	4B	100%	Baseline (100%)	最高精度
float16	2B	50%	~99.9%	损失可忽略，推荐默认值
int8 / scalar	1B	25%	~99%	适合大型语料库
binary	0.125B	3%	70-90%	极致压缩，配合重新排序使用

索引类型对比

Flat / Exact

召回率 100%

延迟：O(N) - slow at scale

HNSW

召回率 95-99%

延迟：Sub-millisecond

IVF

召回率 90-98%

延迟：Low

召回率 80-95%

延迟：Medium

IVF-PQ

召回率 85-97%

延迟：Low

常见问题

服务 1000 万个嵌入需要多少内存？

分块策略如何影响存储需求？

使用二进制量化真的不会损坏召回率吗？

维度越高，嵌入效果一定越好吗？

ef_search 是什么？它如何影响延迟与召回率？

这些估算有多准确？

关于这些计算

估算遵循标准向量数据库公式：HNSW 链接开销、IVF 质心内存、PQ 码本大小和元数据预算。对操作系统和框架开销应用了可配置的缓冲区百分比（默认 15%）。QPS 范围仅供参考，高度依赖硬件。

在领英上关注