趋近智
参数
7B
上下文长度
66K
模态
Text
架构
Dense
许可证
Apache 2.0
发布日期
25 Oct 2025
训练数据截止日期
Dec 2024
不同量化方法和上下文大小的显存要求
1024 个令牌
消费级
1x RTX 4090
24GB VRAM
数据中心
1x NVIDIA A100
80GB VRAM
Apple Silicon
1x Apple M3 Max
128GB VRAM
65536 个令牌
消费级
3x RTX 4090
24GB VRAM
数据中心
1x NVIDIA A100
80GB VRAM
Apple Silicon
1x Apple M3 Max
128GB VRAM
没有可用的 OLMo 3 7B Instruct 评估基准。
排名
-
编程排名
-
OLMo 3 7B Instruct 是由艾伦人工智能研究所 (AI2) 开发的专业大语言模型,旨在通过完全的透明度推动语言建模的科学研究。作为 OLMo 3 系列的核心组件,这一指令微调变体针对低延迟、多轮对话、复杂指令遵循以及函数调用能力进行了优化。它在研究和生产环境中均可作为高度易用且高效的主力模型,弥合了权重开放与完全开源计划之间的差距。
从技术角度来看,该模型采用标准的仅解码器 (decoder-only) Transformer 架构,拥有 70 亿参数。其训练流程非常严谨,包含阶段性的演进:首先在 Dolma 3 数据集上进行预训练,随后在针对性混合数据上进行中期训练 (mid-training),并进行上下文扩展以支持 65,536 个 token 的窗口。该指令变体的后训练方法在 Dolci-Instruct 数据集上集成了有监督微调 (SFT)、直接偏好优化 (DPO) 以及基于可验证奖励的强化学习 (RLVR),重点关注准确性和对用户意图的遵循。
OLMo 3 系列的创新不在于奇特的架构,而在于其详尽的透明度。AI2 提供了对训练代码、预训练数据配方、中间检查点和详细训练日志的无限制访问。这使得从业者能够审计模型的演进历程、复现结果,或从特定的历史状态继续进行预训练。7B 指令版模型特别适合需要兼顾推理能力和计算效率的应用场景,例如对话代理、本地代码助手和教育工具。
注意力
注意力结构
Multi-Head Attention
注意力头
32
键值头
32
注意力头维度
-
位置嵌入
Absolute Position Embedding
RoPE Theta
500,000
滑动窗口注意力
Yes
滑动窗口大小
4,096
滑动窗口比例
-
线性注意力
-
线性注意力比例
-
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
4,096
层数
32
FFN 中间层大小(稠密层)
11,008
多 Token 预测头数
-
分词器
词汇量大小
100,278
OLMo (Open Language Model) 是由艾伦人工智能研究所 (Ai2) 发布的一系列完全开放的语言模型,旨在推动语言模型科学的研究。OLMo 3 提供了对训练数据 (Dolma 3)、代码、检查点 (checkpoints)、日志和评估方法的完整访问权限。该系列模型包括用于预训练研究的 Base 基础模型、用于对话和工具调用的 Instruct 指令变体,以及具备思维链 (chain-of-thought) 推理能力的 Think 思考变体。所有模型均采用阶段式训练方法,包括预训练、中段训练 (mid-training) 和长上下文阶段。
APX AI
在线