参数
1.3B
上下文长度
2K
模态
Text
架构
Dense
KV 缓存速率
192 KB/tok
许可证
MIT
发布日期
15 Jun 2023
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 3.48 GB
INT4 · 2048 context
基础权重: 0.61 GB
KV 缓存: 0.38 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
3.5 / 21.6 GB usable
1x RTX 3060 12GB
3.5 / 10.8 GB usable
Apple M4 24GB
3.5 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.37.0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
没有可用的 Phi-1 评估基准。
排名
-
编程排名
-
微软的 Phi-1 是一款紧凑型、基于 Transformer 的语言模型,专门为 Python 代码生成而设计。其开发过程强调了高质量精选训练数据相较于单纯的数据量或模型规模的有效性,这一原则在基础研究论文《Textbooks Are All You Need》中得到了阐述。该模型的训练方案采用了一种独特的方法,结合了来自公共代码库并经过精心筛选的代码语言数据,以及由 GPT-3.5 等大语言模型生成的合成 Python 教科书和练习。这种数据策略旨在赋予模型对编程概念和实践的“教科书级”理解,使其尽管规模适中,也能实现稳健的学习。
Phi-1 的架构设计基于 Transformer 仅解码器(decoder-only)结构,包含 24 层,隐藏层维度为 2048,并拥有 32 个注意力头。为提高训练效率和性能而引入的关键创新包括:采用旋转位置嵌入(RoPE)来处理序列位置信息,以及使用 FlashAttention 来加速注意力计算。这种流线型架构与优化组件的结合,使 Phi-1 能够高效处理输入序列,同时保持上下文连贯性。该模型的训练专注于下一标记预测(next-token prediction),使其能够生成连贯且语法正确的 Python 代码。
Phi-1 主要设计用于根据文档字符串(docstrings)生成简单 Python 函数的任务,展示了其在代码生成应用中的实用性。其性能特征,特别是在 HumanEval 和 MBPP 等 Python 编程基准测试中的表现,表明它可以取得与规模大得多的模型相媲美的结果,凸显了高质量数据精选的影响。虽然它专门针对 Python,但其能力为理解小型语言模型在特定领域的潜力奠定了基础。
注意力
注意力结构
Multi-Head Attention
注意力头
32
键值头
32
位置嵌入
ROPE
RoPE Theta
10,000
归一化
Layer Normalization
激活函数
GELU
维度
基准精度
FP16
隐藏维度大小
2,048
层数
24
FFN 中间层大小(稠密层)
8,192
分词器
词汇量大小
51,200
Phi-1 是微软推出的 13 亿参数、基于 Transformer 架构的基础小语言模型。该模型专注于 Python 代码生成任务。其核心创新在于使用了经过精心筛选的“教科书级别”高质量数据进行训练,这证明了即便没有庞大的参数规模,高质量的数据也能使模型具备出色的性能。