ApX 标志ApX 标志

趋近智

Mistral Medium 3.5 128B

参数

128B

上下文长度

262K

模态

Multimodal

架构

Dense

许可证

Modified MIT

发布日期

1 Apr 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.75 · 输出: $3.75

系统要求

不同量化方法和上下文大小的显存要求

1024 个令牌

252.20 GB VRAM

消费级

13x RTX 4090

24GB VRAM

数据中心

4x NVIDIA A100

80GB VRAM

Apple Silicon

3x Apple M3 Max

128GB VRAM

262144 个令牌

344.24 GB VRAM

消费级

18x RTX 4090

24GB VRAM

数据中心

5x NVIDIA A100

80GB VRAM

Apple Silicon

4x Apple M3 Max

128GB VRAM

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 12.3k · Context: 262K · Vocab: 131.1kx 88 layersRMSNormPre-AttentionMulti-Head Attention96Q / 8KV headsHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwishIntermediate: 28.7k+Final RMSNormOutput Logits

评估基准

排名

#139

基准分数排名

0.481

24

Agent Arena

Agent Arena

-11.61

51

通用文本

Text Arena

1426

85

0.47

93

Web 开发

WebDev Arena

1263

103

智能体指数

Artificial Analysis

0.07

107

0.14

180

排名

排名

#139

编程排名

#106

关于 Mistral Medium 3.5 128B

Mistral Medium 3.5 是 Mistral AI 推出的一款旗舰级稠密型 1280 亿参数多模态模型。它具备 262k 上下文窗口和可配置的推理模式,将推理、编程和多语言理解与原生视觉能力相结合。

技术规格

注意力

注意力结构

Multi-Head Attention

注意力头

96

键值头

8

注意力头维度

128

位置嵌入

Absolute Position Embedding

RoPE Theta

1,000,000

滑动窗口注意力

No

滑动窗口大小

-

滑动窗口比例

-

线性注意力

No

线性注意力比例

-

归一化

RMS Normalization

激活函数

Swish

维度

辅助参数

-

隐藏维度大小

12,288

层数

88

FFN 中间层大小(稠密层)

28,672

多 Token 预测头数

-

分词器

词汇量大小

131,072

关于 Mistral Medium 3.5

Mistral Medium 3.5 is a family of flagship dense multimodal models from Mistral AI, combining reasoning, coding, and multilingual capabilities.


其他 Mistral Medium 3.5 模型
  • 没有相关模型