Llama 3.1 405B

最小所需硬件

关于 Llama 3.1 405B

Meta Llama 3.1 405B 是 Llama 3.1 系列中规模最大的生成式人工智能模型，该系列还包括 8B 和 70B 参数变体。该模型旨在服务于广泛的商业和研究应用，重点关注多语言对话和高级文本生成。它旨在扩大尖端 AI 能力的可及性，支持包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语在内的八种语言。

在架构上，Llama 3.1 405B 采用了优化的仅解码器（decoder-only）Transformer 结构。其结构中的一项显著创新是集成了分组查询注意力（GQA）机制，旨在增强推理的可扩展性。该模型在超过 15 万亿 token 的庞大数据集上进行了训练，利用了由 16,000 多块 H100 GPU 组成的强大计算基础设施。这种训练规模在 Llama 模型中是绝无仅有的。训练后的精炼过程涉及多轮迭代的有监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO），以对齐模型的响应。其内部机制采用旋转位置嵌入（RoPE）进行位置编码，并使用均方根归一化（RMSNorm）进行内部状态归一化。其激活函数为 SwiGLU。该架构通过刻意不采用混合专家（MoE）设计，从而优先保证训练的稳定性和可扩展性。

在功能方面，Llama 3.1 405B 提供了显著扩展的 128,000 token 上下文长度，能够处理长文本输入。它在多个领域展示了先进的能力，包括通用知识理解、可控性、数学问题解决以及外部工具的使用。实际应用场景包括长篇文本摘要、多语言对话代理开发以及辅助编程任务。此外，该模型旨在支持高级工作流，例如生成合成数据以增强小模型的训练，以及支持模型蒸馏过程。其庞大的参数量为其生成详尽且上下文相关的文本能力做出了贡献。

Specifications

资源

关于 Llama 3.1

Llama 3.1 是 Meta 推出的先进大语言模型系列，在 Llama 3 的基础上构建而成。它采用了优化的仅解码器（decoder-only）Transformer 架构，提供 8B、70B 和 405B 三种参数规模版本。其显著增强的功能包括扩展至 128K token 的上下文窗口，以及通过数据和后训练程序优化后的、涵盖八种语言的增强多语言能力。

其他 Llama 3.1 模型

• Llama 3.1 8B
• Llama 3.1 70B