参数
2B
上下文长度
128K
模态
Text
架构
Dense
KV 缓存速率
48 KB/tok
许可证
other
发布日期
19 Oct 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.10 · 输出: $0.50
精度
上下文
工作负载显存: 3.81 GB
INT4 · 8K context
基础权重: 0.93 GB
KV 缓存: 0.38 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
3.8 / 21.6 GB usable
1x RTX 3060 12GB
3.8 / 10.8 GB usable
Apple M4 24GB
3.8 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
BF16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.19.0.dev0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 BF16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 BF16 | FlashAttention-2 |
排名
#233
| 基准 | 分数 | 排名 |
|---|---|---|
0.02 | 355 |
排名
#233
编程排名
-
LFM3 VL 2B is an efficient vision-language model designed by Liquid AI for on-device multimodal reasoning and image understanding. It integrates visual encoders with the liquid foundational architecture to maximize inference efficiency.
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
4
注意力头维度
128
位置嵌入
ROPE
RoPE Theta
1,000,000
滑动窗口注意力
Yes
滑动窗口大小
256
滑动窗口比例
20.8%
线性注意力
Yes
线性注意力比例
54.2%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
BF16
隐藏维度大小
2,048
层数
24
FFN 中间层大小(稠密层)
7,680
分词器
词汇量大小
128,000
The LFM3 model family developed by Liquid AI.