Llama 3 8B

技术规格

Llama 3 8B

Meta Llama 3 是由 Meta AI 开发的基础大语言模型，旨在支持各种应用场景下的高级文本和代码生成。该模型提供多种参数规模，包括 80 亿（8B）参数版本，并提供预训练和指令微调两种形式。其架构专为人工智能系统的可扩展性和负责任部署而设计，支持从助手类对话代理到复杂的自然语言处理研究任务等多种用例。

该模型采用仅解码器（decoder-only）的 Transformer 架构，并在其前代产品的基础上进行了多项技术增强。关键创新包括一个拥有 128,000 个词汇量的优化分词器（tokenizer），这有助于提高语言编码效率。此外，该模型在其 8B 和 70B 参数版本中均集成了分组查询注意力（GQA）机制，旨在提高推理效率。为了增强训练稳定性，Llama 3 采用了前置归一化的均方根归一化（RMSNorm）技术，并使用了 SwiGLU 激活函数。模型内部的位置编码则通过旋转位置嵌入（RoPE）进行处理。

Llama 3 8B 在超过 15 万亿 token 的海量语料库上进行了预训练，这些数据源自公开数据集，与之前的 Llama 版本相比，训练数据量大幅增加。该模型支持 8,192 个 token 的上下文长度。它在生成连贯文本、辅助代码补全以及执行对话任务方面表现出色，其能力在后续版本（如 Llama 3.1）中进一步扩展到了多语言支持和工具调用。

推荐 GPU

资源