Phi-4

参数

14B

上下文长度

16K

模态

Text

架构

Dense

KV 缓存速率

160 KB/tok

许可证

MIT License

发布日期

13 Dec 2024

训练数据截止日期

Nov 2024

API 价格 (每 1M)

输入: $0.07 · 输出: $0.14

硬件与系统要求

精度

Native

上下文

工作负载显存: 10.27 GB

INT4 · 8K context

基础权重: 6.52 GB

KV 缓存: 1.25 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

10.3 / 21.6 GB usable

1x RTX 3060 12GB

10.3 / 10.8 GB usable

Apple M4 24GB

10.3 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.47.0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 3.1k · Context: 16K · Vocab: 100.4kx 40 layersRMSNormPre-AttentionGrouped-Query Attention24Q / 8KV headsHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwishIntermediate: 17.9k+Final RMSNormOutput Logits

评估基准

排名

#172

基准分数排名

专业知识

MMLU Pro

0.704

42

研究生级问答

GPQA

0.561

99

通用文本

Text Arena

1256

179

0.06

321

通用知识

参考指标
MMLU

0.848

13

排名

排名

#172

编程排名

-

关于 Phi-4

Microsoft Phi-4 是一款拥有 140 亿参数的仅解码器(decoder-only)Transformer 模型,是微软小语言模型(SLM)系列中的最新迭代版本。该模型的主要目标是高效地提供先进的推理能力,使其能够在计算和内存受限的环境中部署,并适用于对延迟敏感的应用场景。Phi-4 旨在通过专注于训练数据的质量而非仅仅依靠模型规模,来处理复杂的逻辑、数学任务以及通用的语言处理。

Phi-4 在架构和训练方法论上的一个关键创新在于战略性地使用了高质量的合成数据,这些数据在其训练语料中占有很大比例。这些合成数据通过多智能体提示(multi-agent prompting)、指令反转(instruction reversal)和自我修正(self-revision)工作流等技术生成,并辅以来自网页内容、学术书籍和代码库中精心挑选的原始数据。这种方法使 Phi-4 能够获得强大的推理和解决问题的能力,往往超越了参数量更大的模型。该模型的架构保留了其前代产品 Phi-3 的类似结构,但包含了诸如扩展上下文长度等增强功能。

Phi-4 支持 16,000 个 token 的上下文长度,使其能够处理和生成广泛的长篇内容。其设计优先考虑了在逻辑演绎、代码生成和科学理解等任务中的效率和稳健性能。该模型旨在用于研究和开发,作为各种应用中生成式人工智能功能的基石,特别是在那些对资源受限或低延迟场景下的强大推理能力有需求的领域。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

24

键值头

8

位置嵌入

ROPE

RoPE Theta

250,000

归一化

RMS Normalization

激活函数

Swish

维度

基准精度

FP16

隐藏维度大小

3,072

层数

40

FFN 中间层大小(稠密层)

17,920

分词器

词汇量大小

100,352

关于 Phi-4

微软 Phi-4 模型系列由小型语言模型组成,优先关注高效且强大的推理能力。其开发强调严谨的数据质量和先进的合成数据集成。这种方法显著提升了性能,并增强了端侧部署能力。


其他 Phi-4 模型