Phi-3-medium

参数

14B

上下文长度

128K

模态

Text

架构

Dense

KV 缓存速率

200 KB/tok

许可证

MIT

发布日期

22 Apr 2024

训练数据截止日期

Oct 2023

API 价格 (每 1M)

输入: $0.17 · 输出: $0.68

硬件与系统要求

精度

Native

上下文

工作负载显存: 10.58 GB

INT4 · 8K context

基础权重: 6.52 GB

KV 缓存: 1.56 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

10.6 / 21.6 GB usable

1x RTX 3060 12GB

10.6 / 10.8 GB usable

Apple M4 24GB

10.6 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.39.3

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

额外依赖包

请配合标准运行时库一并安装:

pip install flash_attn

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 5.1k · Context: 128K · Vocab: 32.1kx 40 layersRMSNormPre-AttentionGrouped-Query Attention40Q / 10KV heads · SW: 2kHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwishIntermediate: 17.9k+Final RMSNormOutput Logits

评估基准

排名

#242

基准分数排名

通用文本

Text Arena

1198

186

排名

排名

#242

编程排名

-

关于 Phi-3-medium

Phi-3-medium 是由微软开发的一款紧凑型、高性能大语言模型,属于 Phi-3 系列模型。该模型拥有 140 亿个参数,旨在用于广泛的商业和研究应用,特别是在内存或计算资源受限的环境以及对延迟敏感的场景中。该模型旨在提供强大的推理能力,特别是在数学、逻辑和代码生成方面,将其定位为开发生成式人工智能功能的基础组件。

Phi-3-medium 的训练方法采用了高质量、推理密集型的数据集,该数据集是其前代模型 Phi-2 所用数据的精炼和扩展版本。该数据集结合了经过严格筛选的公开网页内容和合成生成的数据,确保了模型的鲁棒性及其对指令的遵循能力。训练过程包括有监督微调 (SFT) 和直接偏好优化 (DPO),以增强其精确遵循指令的能力并强化安全措施。

该模型采用仅解码器(decoder-only)的稠密 Transformer 架构,这是自回归语言建模任务中一种通用且有效的结构。其内部机制包括用于高效内存利用和处理的分组查询注意力 (GQA)、用于稳定训练的均方根 (RMS) 归一化,以及用于处理序列位置信息的旋转位置嵌入 (RoPE)。RoPE 的一种名为 LongRope 的特定变体,使模型能够处理长达 128,000 个 token 的超长上下文。Phi-3-medium 针对多种硬件(包括 GPU、CPU 和移动设备)的部署进行了优化,通常利用 ONNX Runtime 和 DirectML 等技术来实现跨平台兼容性和高效推理。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

40

键值头

10

位置嵌入

ROPE

RoPE Theta

10,000

滑动窗口注意力

Yes

滑动窗口大小

2,047

归一化

RMS Normalization

激活函数

Swish

维度

基准精度

FP16

隐藏维度大小

5,120

层数

40

FFN 中间层大小(稠密层)

17,920

分词器

词汇量大小

32,064

关于 Phi-3

微软的 Phi-3 模型是专为在资源受限设备上高效运行而设计的小型语言模型。该系列模型采用 Transformer 解码器架构,并在经过严格过滤的高质量数据(包括合成素材)上进行训练。这种方法打造出了一个尺寸精简但功能强大的模型家族。


其他 Phi-3 模型