趋近智
ERNIE 5.5 Flash Base
活跃参数
280B
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
86 KB/tok
许可证
other
发布日期
21 Oct 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
硬件选型
精度
上下文
工作负载显存: 550.79 GB
FP16 · 8K context
基础权重: 547.62 GB
KV 缓存: 0.67 GB
运行时与计算图: 2.50 GB
最小所需硬件
8x NVIDIA H100 80GB
550.8 / 576.0 GB usable · TP 8
确定特定工作负载的硬件需求：
在显存计算器中打开
架构图
评估基准
没有可用的 ERNIE 5.5 Flash Base 评估基准。
排名
排名
-
编程排名
-
关于 ERNIE 5.5 Flash Base
ERNIE 5.5 Flash Base is an efficient Mixture-of-Experts foundation language model developed by Baidu. It is engineered for high throughput and rapid inference across general text comprehension and instruction workflows.
技术规格
注意力
注意力结构
Compressed Sparse Attention 2
注意力头
64
键值头
1
注意力头维度
512
位置嵌入
ROPE
RoPE Theta
8,000,000
滑动窗口注意力
Yes
滑动窗口大小
128
KV 潜变量维度
576
索引键维度
128
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
4,096
层数
43
FFN 中间层大小（稠密层）
14,336
多 Token 预测头数
1
分词器
词汇量大小
201,216
混合专家
专家参数总数
14.0B
专家数量
512
活跃专家
10
共享专家数
1
FFN 中间层大小（每专家）
2,048
MoE 前的稠密层数
1
资源
关于 ERNIE 5.5
The ERNIE 5.5 model family developed by Baidu.
其他 ERNIE 5.5 模型
- 没有相关模型