趋近智
Nemotron 3.5 Bolt 74B A9B
参数
74B
上下文长度
-
模态
Text
架构
-
KV 缓存速率
128 KB/tok
许可证
other
发布日期
7 Oct 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
硬件选型
精度
上下文
工作负载显存: 141.34 GB
FP16 · 8K context
基础权重: 137.84 GB
KV 缓存: 1.00 GB
运行时与计算图: 2.50 GB
最小所需硬件
2x NVIDIA H100 80GB
141.3 / 144.0 GB usable · TP 2
8x RTX 4090 24GB
141.3 / 172.8 GB usable · TP 8
Apple M2 Ultra 192GB
141.3 / 144.0 GB usable
确定特定工作负载的硬件需求：
在显存计算器中打开
架构图
评估基准
排名
#102
| 基准 | 分数 | 排名 |
|---|---|---|
0.21 | 148 |
排名
排名
#102
编程排名
-
关于 Nemotron 3.5 Bolt 74B A9B
Nemotron 3.5 Bolt 74B A9B is a high-speed multimodal MoE model engineered by NVIDIA for fast reasoning and visual comprehension within a 24GB memory footprint. It utilizes dynamic routing to activate 9B parameters per token for low-latency serving.
技术规格
资源
关于 Nemotron 3.5
NVIDIA 的 Nemotron 3.5 系列开放模型为智能体 AI 应用提供领先的效率与准确性。基于先进的混合 Mamba-2 SSM 与稀疏混合专家（MoE）架构，并结合原生多 Token 预测（MTP）与推测解码机制，Nemotron 3.5 系列专为全天候运行智能体的高频执行层量身打造。