趋近智
Nemotron 3.5 Lightning 30B A3B
活跃参数
30B
上下文长度
262K
模态
Text
架构
Mixture of Experts
KV 缓存速率
52 KB/tok
许可证
other
发布日期
1 Aug 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.06 · 输出: $0.20
硬件与系统要求
精度
上下文
工作负载显存: 18.27 GB
INT4 · 8K context
基础权重: 15.37 GB
KV 缓存: 0.41 GB
运行时与计算图: 2.50 GB
最小所需硬件
1x NVIDIA L4 24GB
18.3 / 21.6 GB usable
2x RTX 4090 24GB
18.3 / 43.2 GB usable · TP 2
Apple M3 Pro 36GB
18.3 / 27.0 GB usable
确定特定工作负载的硬件需求：
在显存计算器中打开
架构图
评估基准
排名
#228
| 基准 | 分数 | 排名 |
|---|---|---|
专业知识 | 0.819 | 23 |
0.20 | 56 | |
0.67 | 58 | |
0.44 | 64 | |
0.43 | 64 | |
LiveBench 平均分 | 0.44 | 64 |
0.46 | 65 | |
0.43 | 66 | |
0.27 | 122 | |
通用文本 | 1351 | 136 |
排名
排名
#228
编程排名
#153
关于 Nemotron 3.5 Lightning 30B A3B
Nemotron 3.5 Lightning 是由 NVIDIA 推出的一款开源混合专家 (MoE) 模型，在 300 亿总参数中激活了 30 亿参数。该模型针对高吞吐量智能体工作流和高效的长上下文推理进行了优化。
Specifications
注意力
注意力结构
Grouped-Query Attention
注意力头
32
键值头
2
注意力头维度
128
位置嵌入
ROPE
RoPE Theta
10,000
线性注意力
Yes
线性注意力比例
46.2%
归一化
RMS Normalization
激活函数
ReLU2
维度
基准精度
BF16
隐藏维度大小
2,688
层数
52
FFN 中间层大小（稠密层）
1,856
多 Token 预测头数
1
分词器
词汇量大小
131,072
混合专家
专家参数总数
3.0B
专家数量
128
活跃专家
6
共享专家数
1
FFN 中间层大小（每专家）
1,856
资源
关于 Nemotron 3.5
NVIDIA 的 Nemotron 3.5 系列开放模型为智能体 AI 应用提供领先的效率与准确性。基于先进的混合 Mamba-2 SSM 与稀疏混合专家（MoE）架构，并结合原生多 Token 预测（MTP）与推测解码机制，Nemotron 3.5 系列专为全天候运行智能体的高频执行层量身打造。