趋近智
参数
-
上下文长度
400K
模态
Text
架构
Dense
许可证
Proprietary
发布日期
13 Nov 2025
训练数据截止日期
Sep 2024
排名
#25
| 基准 | 分数 | 排名 |
|---|---|---|
0.81 | 🥉 3 | |
0.85 | ⭐ 5 | |
0.57 | 10 | |
0.70 | 12 |
排名
#25
编程排名
#25
GPT-5.1 Codex Max High 是 GPT-5.1 系列的一个专门变体,专为高容量软件开发和自主工程工作流而设计。该模型构建在先进的推理堆栈之上,并针对长周期、代理式任务进行了优化,例如项目规模的代码重构、多步调试和漏洞检测。它具备通过称为“压缩”(compaction)机制进行多上下文窗口处理的原生能力,使模型能够在跨越数十万个标记(token)的扩展开发会话中保持状态和连贯性。
在技术层面,该模型采用了带有多头注意力(MHA)和绝对位置嵌入的稠密架构。与通用变体不同,此 Codex 迭代版本专门针对多样化的软件工程数据集、数学和技术研究论文进行了预训练和微调。它是该系列中首个包含针对 Windows 环境运行的原生训练的模型,从而能够与基于桌面的 IDE 和命令行界面进行更直接的集成。该架构支持可调节的推理努力程度,使开发人员能够在快速代码生成与深度架构分析之间按需分配优先级。
在实际应用中,GPT-5.1 Codex Max High 可作为 AI 集成开发环境和自动化代码审查流水线的核心引擎。它被设计为一个能够持续执行复杂任务数小时的自主代理,通过迭代方式修复测试失败并完善实现。其 400,000 个标记的高上下文窗口确保了可以在单个会话中分析整个微服务或大型模块,从而减少了手动切分上下文的需求,并提高了跨文件依赖解析的准确性。
注意力
注意力结构
Multi-Head Attention
注意力头
-
键值头
-
注意力头维度
-
位置嵌入
Absolute Position Embedding
RoPE Theta
-
滑动窗口注意力
-
滑动窗口大小
-
滑动窗口比例
-
线性注意力
-
线性注意力比例
-
归一化
-
激活函数
-
维度
隐藏维度大小
-
层数
-
FFN 中间层大小(稠密层)
-
多 Token 预测头数
-
分词器
词汇量大小
-
OpenAI 最新一代语言模型,具备先进的推理能力,支持高达 400K token 的超长上下文窗口,并针对编程、通用智能及效率推出了专门的变体。GPT-5 系列引入了改进的思考模式,在各项基准测试中表现卓越,并提供从高容量 Pro 模型到高效 Nano 模型等多种针对不同用例优化的版本。该系列具备原生多模态理解能力、增强的数学推理能力,并通 Codex 变体实现了业界领先的编程能力。
APX AI
在线