Phi-3-mini

系统要求

不同量化方法和上下文大小的显存要求

关于 Phi-3-mini

Microsoft 的 Phi-3-mini 是一款轻量级、最先进的小语言模型 (SLM)，旨在为资源受限的环境（包括移动和边缘设备）提供高性能。作为 Phi-3 模型家族的核心组件，它旨在以显著小于大型模型的规模提供卓越的能力。该模型为计算效率和降低运营成本至关重要的场景提供了切实可行的解决方案，从而提升了先进人工智能的可及性。

在架构方面，Phi-3-mini 是一个稠密的、仅解码器（decoder-only）的 Transformer 模型。其训练方法是一项关键创新，采用了精心策划的数据集，该数据集是 Phi-2 所用数据集的放大版本。该数据集由经过深度过滤的公开网页数据和合成的“教科书级质量”数据组成，旨在培养强大的推理和知识获取能力。该模型经过了严格的训练后处理，结合了有监督微调 (SFT) 和直接偏好优化 (DPO)，以增强指令遵循能力、鲁棒性和安全对齐。其隐藏层维度为 3072，包含 32 层和 32 个注意力头，并利用了具有 8 个键值头的分组查询注意力 (GQA) 技术。

Phi-3-mini 主要面向需要强大推理能力的广泛商业和研究应用，尤其是在数学和逻辑等领域。其紧凑的体积便于部署在对延迟敏感的场景以及内存和计算能力有限的硬件上，例如移动电话和物联网 (IoT) 设备。该模型提供两种上下文长度变体：默认的 4K token 版本，以及利用 LongRope 技术进行扩展上下文处理的 128K token 版本 (Phi-3-mini-128K)。这些特性使其适用于从通用人工智能系统到需要高效本地推理的专门应用等多种用例。

技术规格

资源

关于 Phi-3

微软的 Phi-3 模型是专为在资源受限设备上高效运行而设计的小型语言模型。该系列模型采用 Transformer 解码器架构，并在经过严格过滤的高质量数据（包括合成素材）上进行训练。这种方法打造出了一个尺寸精简但功能强大的模型家族。

其他 Phi-3 模型

• Phi-3-small
• Phi-3-medium