ApX 标志ApX 标志

趋近智

OLMo 3 7B Instruct

参数

7B

上下文长度

66K

模态

Text

架构

Dense

许可证

Apache 2.0

发布日期

25 Oct 2025

训练数据截止日期

Dec 2024

系统要求

不同量化方法和上下文大小的显存要求

1024 个令牌

16.76 GB VRAM

消费级

1x RTX 4090

24GB VRAM

数据中心

1x NVIDIA A100

80GB VRAM

Apple Silicon

1x Apple M3 Max

128GB VRAM

65536 个令牌

52.28 GB VRAM

消费级

3x RTX 4090

24GB VRAM

数据中心

1x NVIDIA A100

80GB VRAM

Apple Silicon

1x Apple M3 Max

128GB VRAM

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 4.1k · Context: 66K · Vocab: 100.3kx 32 layersRMSNormPre-AttentionMulti-Head Attention32Q / 32KV heads · SW: 4.1kHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 11k+Final RMSNormOutput Logits

评估基准

没有可用的 OLMo 3 7B Instruct 评估基准。

排名

排名

-

编程排名

-

关于 OLMo 3 7B Instruct

OLMo 3 7B Instruct 是由艾伦人工智能研究所 (AI2) 开发的专业大语言模型,旨在通过完全的透明度推动语言建模的科学研究。作为 OLMo 3 系列的核心组件,这一指令微调变体针对低延迟、多轮对话、复杂指令遵循以及函数调用能力进行了优化。它在研究和生产环境中均可作为高度易用且高效的主力模型,弥合了权重开放与完全开源计划之间的差距。

从技术角度来看,该模型采用标准的仅解码器 (decoder-only) Transformer 架构,拥有 70 亿参数。其训练流程非常严谨,包含阶段性的演进:首先在 Dolma 3 数据集上进行预训练,随后在针对性混合数据上进行中期训练 (mid-training),并进行上下文扩展以支持 65,536 个 token 的窗口。该指令变体的后训练方法在 Dolci-Instruct 数据集上集成了有监督微调 (SFT)、直接偏好优化 (DPO) 以及基于可验证奖励的强化学习 (RLVR),重点关注准确性和对用户意图的遵循。

OLMo 3 系列的创新不在于奇特的架构,而在于其详尽的透明度。AI2 提供了对训练代码、预训练数据配方、中间检查点和详细训练日志的无限制访问。这使得从业者能够审计模型的演进历程、复现结果,或从特定的历史状态继续进行预训练。7B 指令版模型特别适合需要兼顾推理能力和计算效率的应用场景,例如对话代理、本地代码助手和教育工具。

技术规格

注意力

注意力结构

Multi-Head Attention

注意力头

32

键值头

32

注意力头维度

-

位置嵌入

Absolute Position Embedding

RoPE Theta

500,000

滑动窗口注意力

Yes

滑动窗口大小

4,096

滑动窗口比例

-

线性注意力

-

线性注意力比例

-

归一化

RMS Normalization

激活函数

SwigLU

维度

隐藏维度大小

4,096

层数

32

FFN 中间层大小(稠密层)

11,008

多 Token 预测头数

-

分词器

词汇量大小

100,278

模型完整性

总分

B+

86 / 100

关于 OLMo 3

OLMo (Open Language Model) 是由艾伦人工智能研究所 (Ai2) 发布的一系列完全开放的语言模型,旨在推动语言模型科学的研究。OLMo 3 提供了对训练数据 (Dolma 3)、代码、检查点 (checkpoints)、日志和评估方法的完整访问权限。该系列模型包括用于预训练研究的 Base 基础模型、用于对话和工具调用的 Instruct 指令变体,以及具备思维链 (chain-of-thought) 推理能力的 Think 思考变体。所有模型均采用阶段式训练方法,包括预训练、中段训练 (mid-training) 和长上下文阶段。


其他 OLMo 3 模型