趋近智
OLMo 3 7B Instruct
参数
7B
上下文长度
65.536K
模态
Text
架构
Dense
许可证
Apache 2.0
发布日期
25 Oct 2025
训练数据截止日期
Dec 2024
技术规格
注意力
注意力结构
Multi-Head Attention
注意力头
32
键值头
32
注意力头维度
-
位置嵌入
Absolute Position Embedding
RoPE Theta
500,000
滑动窗口注意力
Yes
滑动窗口大小
4,096
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
4,096
层数
32
FFN 中间层大小（稠密层）
11,008
多 Token 预测头数
-
分词器
词汇量大小
100,278
架构图
OLMo 3 7B Instruct
OLMo 3 7B Instruct 是由艾伦人工智能研究所 (AI2) 开发的专业大语言模型，旨在通过完全的透明度推动语言建模的科学研究。作为 OLMo 3 系列的核心组件，这一指令微调变体针对低延迟、多轮对话、复杂指令遵循以及函数调用能力进行了优化。它在研究和生产环境中均可作为高度易用且高效的主力模型，弥合了权重开放与完全开源计划之间的差距。
从技术角度来看，该模型采用标准的仅解码器 (decoder-only) Transformer 架构，拥有 70 亿参数。其训练流程非常严谨，包含阶段性的演进：首先在 Dolma 3 数据集上进行预训练，随后在针对性混合数据上进行中期训练 (mid-training)，并进行上下文扩展以支持 65,536 个 token 的窗口。该指令变体的后训练方法在 Dolci-Instruct 数据集上集成了有监督微调 (SFT)、直接偏好优化 (DPO) 以及基于可验证奖励的强化学习 (RLVR)，重点关注准确性和对用户意图的遵循。
OLMo 3 系列的创新不在于奇特的架构，而在于其详尽的透明度。AI2 提供了对训练代码、预训练数据配方、中间检查点和详细训练日志的无限制访问。这使得从业者能够审计模型的演进历程、复现结果，或从特定的历史状态继续进行预训练。7B 指令版模型特别适合需要兼顾推理能力和计算效率的应用场景，例如对话代理、本地代码助手和教育工具。
关于 OLMo 3
OLMo (Open Language Model) 是由艾伦人工智能研究所 (Ai2) 发布的一系列完全开放的语言模型，旨在推动语言模型科学的研究。OLMo 3 提供了对训练数据 (Dolma 3)、代码、检查点 (checkpoints)、日志和评估方法的完整访问权限。该系列模型包括用于预训练研究的 Base 基础模型、用于对话和工具调用的 Instruct 指令变体，以及具备思维链 (chain-of-thought) 推理能力的 Think 思考变体。所有模型均采用阶段式训练方法，包括预训练、中段训练 (mid-training) 和长上下文阶段。
其他 OLMo 3 模型
评估基准
没有可用的 OLMo 3 7B Instruct 评估基准。