GPT-OSS 20B

系统要求

不同量化方法和上下文大小的显存要求

关于 GPT-OSS 20B

GPT-OSS 20B 是由 OpenAI 开发的一款基于文本的语言模型，专门为在消费级硬件上提供高性能推理而设计。作为 GPT-OSS 系列的一员，该模型在计算效率与复杂任务执行之间取得了平衡，利用稀疏架构来维持较低的内存占用。它被设计为本地和企业环境中的灵活组件，在这些环境中，数据隐私和低延迟响应时间是至关重要的需求。

该模型采用由 24 层组成的混合专家（MoE）Transformer 架构。虽然总参数量为 210 亿，但在前向传播过程中，系统每个 token 仅激活 36 亿参数。这种稀疏性是通过路由机制实现的，该机制为每个 token 从 32 个专家池中选择 4 个激活专家。该架构集成了多项现代优化技术，包括 SwiGLU 激活函数、均方根（RMS）归一化，以及带有 8 个键值头的分组查询注意力（GQA），以优化内存吞吐量。它还通过旋转位置嵌入（RoPE）支持 128,000 个 token 的原生上下文窗口。

在功能方面，GPT-OSS 20B 针对智能体（agentic）工作流和复杂推理任务进行了优化。它支持诸如原生工具使用、函数调用以及可配置的推理力度系统等功能，允许开发者根据应用的具体延迟需求调整模型的处理深度。该模型使用专门的响应格式进行训练，以促进一致的结构化输出和长篇思维链推理，使其适用于本地设备上的科学分析、代码生成和专业技术辅助。

技术规格

资源

关于 GPT-OSS

OpenAI 推出的开放权重语言模型。

其他 GPT-OSS 模型

• GPT-OSS 120B