Llama 4 Behemoth

系统要求

不同量化方法和上下文大小的显存要求

没有可用的 Llama 4 Behemoth 评估基准。

关于 Llama 4 Behemoth

Llama 4 Behemoth 是由 Meta 开发的大规模多模态基座模型，旨在作为 Llama 4 系列中的主要教师模型。作为一种未部署的前沿模型，其核心功能是生成高质量的合成数据，并为蒸馏更小、可用于生产环境的变体（如 Llama 4 Maverick 和 Scout）提供知识库。它集成了原生多模态架构，能够通过早期融合机制处理文本、图像和视频的交错序列；该机制将视觉和语言 token 统一在单个 Transformer 骨干网络中，而不是使用特定的模态编码器。

该模型采用稀疏混合专家（MoE）架构，总参数量约为 2 万亿。在推理过程中，路由机制会激活 16 个专家中约 2880 亿个参数的子集。技术创新包括利用分组查询注意力（GQA）来管理内存带宽，以及在大型 GPU 集群上采用 FP8 精度优化的训练方案。该模型的架构结合了交错注意力层和一种新型蒸馏损失函数，旨在平衡向学生模型进行知识迁移过程中的软目标和硬目标。

作为一种以研究为核心的产物，Llama 4 Behemoth 针对复杂推理任务、数学问题解决和跨模态理解进行了优化。通过处理超过 30 万亿 token 的多样化数据，它建立了一个高容量的潜空间，为高效下游模型的训练提供支持。虽然该模型目前仍处于研究预览状态，但其架构设计为更广泛的 Llama 4 生态系统奠定了技术基础，强调了通过稀疏性和原生跨模态集成实现的可扩展性。

技术规格

资源

关于 Llama 4

Meta 的 Llama 4 模型系列采用了混合专家 (MoE) 架构，以实现高效扩展。该系列通过文本、图像和视频的早期融合，具备原生多模态能力。此次迭代还显著扩展了上下文长度，模型最高可支持处理 1000 万个 token。

其他 Llama 4 模型

• Llama 4 Scout
• Llama 4 Maverick