参数
70B
上下文长度
128K
模态
Text
架构
Dense
KV 缓存速率
320 KB/tok
许可证
Llama 3.1 Community License Agreement
发布日期
23 Jul 2024
训练数据截止日期
Dec 2023
API 价格 (每 1M)
输入: $0.72 · 输出: $0.72
精度
上下文
工作负载显存: 37.60 GB
INT4 · 8K context
基础权重: 32.60 GB
KV 缓存: 2.50 GB
运行时与计算图: 2.50 GB
1x NVIDIA A40 48GB
37.6 / 43.2 GB usable
2x RTX 4090 24GB
37.6 / 43.2 GB usable · TP 2
Apple M4 Max 128GB
37.6 / 96.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.40.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#186
| 基准 | 分数 | 排名 |
|---|---|---|
专业知识 | 0.664 | 50 |
研究生级问答 | 0.417 | 115 |
通用文本 | 1293 | 170 |
0.07 | 303 | |
通用知识 参考指标 | 0.836 | 15 |
文本摘要 已归档 | 0.598 | 23 |
排名
#186
编程排名
-
Llama 3.1 70B 是由 Meta 开发的大语言模型,旨在处理广泛的自然语言处理任务。该模型变体在其前代产品的基础上进行了构建,增强了各种应用场景下的能力。其主要用途包括促进内容生成、驱动对话式 AI 系统、执行情感分析以及支持代码生成。该模型的结构设计使其适用于研究和企业环境的部署,为多样化的 AI 原生应用提供了坚实的基础。
在架构方面,Llama 3.1 70B 采用了优化的密集 Transformer 网络。该版本的一个重大技术进步是将其上下文长度扩展到了 128,000 个 token,相比之前的 Llama 3 模型有了大幅提升。这使得模型能够处理长文本输入并生成连贯的响应,从而支持需要长文本上下文理解的高级用例。此外,Llama 3.1 70B 整合了增强的多语言能力,使其能够有效地处理英语以外的多种语言,包括德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型的训练采用了监督微调 (SFT) 和人类反馈强化学习 (RLHF) 等先进技术,有助于提升其指令遵循能力和上下文相关性。
在性能特性和用例方面,Llama 3.1 70B 专为大规模 AI 应用的高性能而设计。其扩展的上下文窗口和多语言支持使其适用于综合文本摘要、开发复杂的多语言对话代理以及创建编程助手等任务。该模型支持各种常见的自然语言生成任务,对于旨在将前沿 AI 技术整合到工作流中的开发人员和组织而言,它是一款功能强大的工具。
注意力
注意力结构
Grouped-Query Attention
注意力头
64
键值头
8
位置嵌入
ROPE
维度
基准精度
FP16
隐藏维度大小
8,192
层数
80
Llama 3.1 是 Meta 推出的先进大语言模型系列,在 Llama 3 的基础上构建而成。它采用了优化的仅解码器(decoder-only)Transformer 架构,提供 8B、70B 和 405B 三种参数规模版本。其显著增强的功能包括扩展至 128K token 的上下文窗口,以及通过数据和后训练程序优化后的、涵盖八种语言的增强多语言能力。