OLMo 3 7B Base

技术规格

OLMo 3 7B Base

OLMo 3 7B Base 是艾伦人工智能研究所（AI2）OLMo 3 系列语言模型中的基础组件，旨在推动对大语言模型的科学理解与开发。该变体拥有 70 亿个参数，并基于 Dolma 3 数据集的 5.93 万亿个 token 进行训练。OLMo 3 项目的一个核心特征是其对完全透明度的承诺，不仅公开模型权重，还提供完整的训练数据、代码、中间检查点（checkpoints）、日志以及评估方法论。这种方法促进了可复现性，并支持对模型行为和开发过程的深入研究。

在架构上，OLMo 3 7B Base 模型是一个稠密（dense）、仅解码器（decoder-only）的 Transformer 模型。其训练采用了阶段化方法，包括预训练、中期训练（mid-training）和长上下文阶段，以优化多样化的语言能力和扩展的输入处理能力。该模型包含 32 层，隐藏层维度大小为 4096，并采用多头注意力机制（包含 32 个查询头和 32 个键值头）。模型集成了旋转位置嵌入（RoPE），并实现了缩放机制以支持高达 65,536 个 token 的超长上下文长度。

作为基础模型，OLMo 3 7B 主要用于预训练研究，并作为后续各种下游任务微调的坚实起点。其设计优先考虑通用能力，通过进一步的后期训练，为推理、工具使用和指令遵循等领域的专业应用奠定基础。该模型采用 Apache 2.0 协议开源授权，允许广泛使用（包括商业应用），从而促进 AI 生态系统中的社区协作与创新。

没有可用的 OLMo 3 7B Base 评估基准。

推荐 GPU

资源