MiniMax M3

参数

428B

上下文长度

1M

模态

Multimodal

架构

Dense

KV 缓存速率

120 KB/tok

许可证

Proprietary

发布日期

1 Jun 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.30 · 输出: $1.20

硬件与系统要求

精度

Native

上下文

工作负载显存: 843.49 GB

FP16 · 8K context

基础权重: 840.05 GB

KV 缓存: 0.94 GB

运行时与计算图: 2.50 GB

最小所需硬件

8x NVIDIA H200 141GB

843.5 / 1015.2 GB usable · TP 8

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.40.1

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 6.1k · Context: 1M · Vocab: 200.1kx 60 layersRMSNormPre-AttentionMulti-Head Attention64Q / 4KV headsHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 12.3k+Final RMSNormOutput Logits

评估基准

排名

#144

基准分数排名

0.825

13

0.76

32

智能编程

LiveBench Agentic

0.41

54

0.67

56

0.77

56

LiveBench 平均分

LiveBench Average

0.67

56

0.74

58

智能体指数

Artificial Analysis

0.29

59

0.68

60

Web 开发

WebDev Arena

1484

68

0.59

69

Agent Arena

Agent Arena

-11.18

70

通用文本

Text Arena

1436

90

0.19

189

排名

排名

#144

编程排名

#96

关于 MiniMax M3

MiniMax 于 2026 年 6 月 1 日发布的旗舰级多模态模型。该模型采用 MiniMax 稀疏注意力 (MSA) 架构,以 KV 块选择模式取代传统的全注意力机制,将计算成本大幅降低至上一代的 1/20。它针对长程智能体工作流、复杂软件工程和视频理解进行了深度优化。具备 100 万 token 的上下文窗口,支持文本、图像和视频输入,定价为每百万输入 token 0.30 美元,每百万输出 token 1.20 美元。

Specifications

注意力

注意力结构

Multi-Head Attention

注意力头

64

键值头

4

注意力头维度

128

位置嵌入

Absolute Position Embedding

RoPE Theta

5,000,000

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

6,144

层数

60

FFN 中间层大小(稠密层)

12,288

多 Token 预测头数

1

分词器

词汇量大小

200,064

关于 MiniMax M3

MiniMax's flagship M3 model family, released June 1, 2026, is powered by MiniMax Sparse Attention (MSA) architecture, offering 1M context capabilities at exceptionally low compute cost and optimized for long-horizon agentic workflows.


其他 MiniMax M3 模型