Llama 4 Maverick

活跃参数

400B

上下文长度

1M

模态

Multimodal

辅助参数

850M

架构

Mixture of Experts

KV 缓存速率

480 KB/tok

许可证

Llama 4 Community License Agreement

发布日期

5 Apr 2025

训练数据截止日期

Aug 2024

API 价格 (每 1M)

输入: $0.63 · 输出: $1.80

硬件与系统要求

精度

Native

上下文

工作负载显存: 782.97 GB

FP16 · 8K context

基础权重: 776.72 GB

KV 缓存: 3.75 GB

运行时与计算图: 2.50 GB

最小所需硬件

8x NVIDIA H200 141GB

783.0 / 1015.2 GB usable · TP 8

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.51.0.dev0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 12.3k · Context: 1M · Vocab: 202kx 120 layersRMSNormPre-AttentionGrouped-Query Attention96Q / 8KV headsHead dim: 128+RMSNormPre-FFNSparse MoE FFN (2/128 experts)Swish+Final RMSNormOutput Logits

评估基准

排名

#164

基准分数排名

专业知识

MMLU Pro

0.805

30

0.319

31

软件工程

SWE-bench Verified

0.21

38

研究生级问答

GPQA

0.698

85

智能体指数

Artificial Analysis

0.6

124

0.16

136

通用文本

Text Arena

1327

159

0.09

267

StackEval

已归档
ProLLM Stack Eval

0.923

7

QA 助手

已归档
ProLLM QA Assistant

0.949

10

通用知识

参考指标
MMLU

0.855

10

编程

已归档
Aider Coding

0.16

20

文本摘要

已归档
ProLLM Summarization

0.72

20

排名

排名

#164

编程排名

#140

关于 Llama 4 Maverick

Llama 4 Maverick 模型是由 Meta 开发的一款原生多模态大语言模型,作为 Llama 4 模型系列的一部分发布。其主要目的是提供在文本和图像理解方面的先进能力,支持广泛的应用,包括助手类对话式人工智能、创意内容生成、复杂推理以及代码生成。Llama 4 Maverick 专为商业和研究部署而设计,旨在提供高质量性能的同时提升成本效益。

从架构角度看,Llama 4 Maverick 采用了混合专家(MoE)设计,这与以往的稠密 Transformer 模型有显著不同。它拥有总计 4000 亿个参数,但在推理过程中,每个 token 仅激活 170 亿个参数。这种效率是通过使用 128 个专家实现的,处理过程涉及稠密层与 MoE 层的交替。该模型通过早期融合机制集成了文本和图像等不同模态,从而能够从初始阶段进行全面的多模态处理。内部架构还集成了 iRoPE 用于管理和扩展上下文,进一步增强了其能力。

Llama 4 Maverick 在包括编码、推理、多语言任务以及长上下文处理和图像理解在内的各类基准测试中展现出强劲的性能。它是为高模型吞吐量而设计的,适用于对低延迟和高精度有严格要求的生产环境。该模型的设计便于在需要复杂多模态交互和高效资源利用的场景中部署,满足了现代人工智能应用的需求。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

96

键值头

8

注意力头维度

128

位置嵌入

ROPE

RoPE Theta

500,000

归一化

RMS Normalization

激活函数

Swish

维度

基准精度

FP16

辅助参数

850M

隐藏维度大小

12,288

层数

120

FFN 中间层大小(稠密层)

8,192

分词器

词汇量大小

202,048

混合专家

专家参数总数

17.0B

专家数量

128

活跃专家

2

关于 Llama 4

Meta 的 Llama 4 模型系列采用了混合专家 (MoE) 架构,以实现高效扩展。该系列通过文本、图像和视频的早期融合,具备原生多模态能力。此次迭代还显著扩展了上下文长度,模型最高可支持处理 1000 万个 token。


其他 Llama 4 模型