LFM3 VL 2B

参数

2B

上下文长度

128K

模态

Text

架构

Dense

KV 缓存速率

48 KB/tok

许可证

other

发布日期

19 Oct 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.10 · 输出: $0.50

硬件与系统要求

精度

Native

上下文

工作负载显存: 3.81 GB

INT4 · 8K context

基础权重: 0.93 GB

KV 缓存: 0.38 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

3.8 / 21.6 GB usable

1x RTX 3060 12GB

3.8 / 10.8 GB usable

Apple M4 24GB

3.8 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

BF16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.19.0.dev0

微架构精度注意力算子

Blackwell, Hopper

原生 BF16

FlashAttention-3

Ada Lovelace, Ampere

原生 BF16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 2k · Context: 128K · Vocab: 128kx 24 layersRMSNormPre-AttentionGrouped-Query Attention16Q / 4KV heads · SW: 256Head dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 7.7k+Final RMSNormOutput Logits

评估基准

排名

#233

基准分数排名

0.02

355

排名

排名

#233

编程排名

-

关于 LFM3 VL 2B

LFM3 VL 2B is an efficient vision-language model designed by Liquid AI for on-device multimodal reasoning and image understanding. It integrates visual encoders with the liquid foundational architecture to maximize inference efficiency.

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

16

键值头

4

注意力头维度

128

位置嵌入

ROPE

RoPE Theta

1,000,000

滑动窗口注意力

Yes

滑动窗口大小

256

滑动窗口比例

20.8%

线性注意力

Yes

线性注意力比例

54.2%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

BF16

隐藏维度大小

2,048

层数

24

FFN 中间层大小(稠密层)

7,680

分词器

词汇量大小

128,000

关于 LFM3

The LFM3 model family developed by Liquid AI.


其他 LFM3 模型