趋近智
LFM2.5 24B A2B
活跃参数
24B
上下文长度
131K
模态
Text
架构
Mixture of Experts
KV 缓存速率
80 KB/tok
许可证
other
发布日期
12 Oct 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
硬件选型
精度
上下文
工作负载显存: 15.47 GB
INT4 · 8K context
基础权重: 12.34 GB
KV 缓存: 0.63 GB
运行时与计算图: 2.50 GB
最小所需硬件
1x NVIDIA L4 24GB
15.5 / 21.6 GB usable
2x RTX 4090 24GB
15.5 / 43.2 GB usable · TP 2
Apple M4 24GB
15.5 / 18.0 GB usable
确定特定工作负载的硬件需求：
在显存计算器中打开
架构图
评估基准
没有可用的 LFM2.5 24B A2B 评估基准。
排名
排名
-
编程排名
-
关于 LFM2.5 24B A2B
LFM2.5 24B A2B is a mixture-of-experts model from Liquid AI activating 2 billion parameters per token. It leverages Liquid's non-transformer dynamical architecture designed for high efficiency and extended sequence modeling.
技术规格
注意力
注意力结构
Grouped-Query Attention
注意力头
32
键值头
8
注意力头维度
64
位置嵌入
ROPE
RoPE Theta
10,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
2,048
层数
40
FFN 中间层大小（稠密层）
11,776
分词器
词汇量大小
128,000
混合专家
专家参数总数
2.5B
专家数量
64
活跃专家
4
FFN 中间层大小（每专家）
1,536
MoE 前的稠密层数
2
资源
关于 LFM2
The LFM2 model family developed by Liquid AI.