Llama 3.1 70B

参数

70B

上下文长度

128K

模态

Text

架构

Dense

KV 缓存速率

320 KB/tok

许可证

Llama 3.1 Community License Agreement

发布日期

23 Jul 2024

训练数据截止日期

Dec 2023

API 价格 (每 1M)

输入: $0.72 · 输出: $0.72

硬件与系统要求

精度

Native

上下文

工作负载显存: 37.60 GB

INT4 · 8K context

基础权重: 32.60 GB

KV 缓存: 2.50 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA A40 48GB

37.6 / 43.2 GB usable

2x RTX 4090 24GB

37.6 / 43.2 GB usable · TP 2

Apple M4 Max 128GB

37.6 / 96.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.40.1

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 8.2k · Context: 128Kx 80 layersNormPre-AttentionGrouped-Query Attention64Q / 8KV headsHead dim: 128+NormPre-FFNFeed-Forward NetworkActivation+Final NormOutput Logits

评估基准

排名

#186

基准分数排名

专业知识

MMLU Pro

0.664

50

研究生级问答

GPQA

0.417

115

通用文本

Text Arena

1293

170

0.07

303

通用知识

参考指标
MMLU

0.836

15

文本摘要

已归档
ProLLM Summarization

0.598

23

排名

排名

#186

编程排名

-

关于 Llama 3.1 70B

Llama 3.1 70B 是由 Meta 开发的大语言模型,旨在处理广泛的自然语言处理任务。该模型变体在其前代产品的基础上进行了构建,增强了各种应用场景下的能力。其主要用途包括促进内容生成、驱动对话式 AI 系统、执行情感分析以及支持代码生成。该模型的结构设计使其适用于研究和企业环境的部署,为多样化的 AI 原生应用提供了坚实的基础。

在架构方面,Llama 3.1 70B 采用了优化的密集 Transformer 网络。该版本的一个重大技术进步是将其上下文长度扩展到了 128,000 个 token,相比之前的 Llama 3 模型有了大幅提升。这使得模型能够处理长文本输入并生成连贯的响应,从而支持需要长文本上下文理解的高级用例。此外,Llama 3.1 70B 整合了增强的多语言能力,使其能够有效地处理英语以外的多种语言,包括德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型的训练采用了监督微调 (SFT) 和人类反馈强化学习 (RLHF) 等先进技术,有助于提升其指令遵循能力和上下文相关性。

在性能特性和用例方面,Llama 3.1 70B 专为大规模 AI 应用的高性能而设计。其扩展的上下文窗口和多语言支持使其适用于综合文本摘要、开发复杂的多语言对话代理以及创建编程助手等任务。该模型支持各种常见的自然语言生成任务,对于旨在将前沿 AI 技术整合到工作流中的开发人员和组织而言,它是一款功能强大的工具。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

64

键值头

8

位置嵌入

ROPE

维度

基准精度

FP16

隐藏维度大小

8,192

层数

80

关于 Llama 3.1

Llama 3.1 是 Meta 推出的先进大语言模型系列,在 Llama 3 的基础上构建而成。它采用了优化的仅解码器(decoder-only)Transformer 架构,提供 8B、70B 和 405B 三种参数规模版本。其显著增强的功能包括扩展至 128K token 的上下文窗口,以及通过数据和后训练程序优化后的、涵盖八种语言的增强多语言能力。


其他 Llama 3.1 模型