ApX 标志ApX 标志

趋近智

GPT-4o

参数

200B (估算)

上下文长度

128K

模态

Multimodal

架构

未公开

许可证

Proprietary

发布日期

13 May 2024

训练数据截止日期

Oct 2023

API 价格 (每 1M)

输入: $5.00 · 输出: $15.00

评估基准

排名

#130

基准分数排名

软件工程

SWE-bench Verified

0.39

32

专业知识

MMLU Pro

0.747

36

研究生级问答

GPQA

0.701

82

通用文本

Text Arena

1346

118

0.24

127

0.09

222

重构

已归档
Aider Refactoring

0.63

🥇

1

StackEval

已归档
ProLLM Stack Eval

0.961

4

通用知识

参考指标
MMLU

0.887

4

QA 助手

已归档
ProLLM QA Assistant

0.956

8

文本摘要

已归档
ProLLM Summarization

0.753

15

编程

已归档
Aider Coding

0.45

16

排名

排名

#130

编程排名

#114

关于 GPT-4o

GPT-4o 是 OpenAI 的旗舰级全模态模型,在统一架构中集成了文本、视觉和音频。它具备实时响应能力,在推理、编程、多语言理解和创意写作等多样化任务中表现出色。提供 128K 上下文窗口及高效的 Token 利用率。该模型代表了多模态人工智能的重大进步,通过不同模态的无缝集成,实现了自然的人机交互。

技术规格

专有模型的架构规格未公开。

注意力

注意力结构

Multi-Head Attention

注意力头

未公开

键值头

未公开

注意力头维度

未公开

位置嵌入

Absolute Position Embedding

RoPE Theta

未公开

滑动窗口注意力

未公开

滑动窗口大小

未公开

滑动窗口比例

未公开

线性注意力

未公开

线性注意力比例

未公开

归一化

未公开

激活函数

未公开

维度

隐藏维度大小

未公开

层数

未公开

FFN 中间层大小(稠密层)

未公开

多 Token 预测头数

未公开

分词器

词汇量大小

未公开

关于 GPT-4o

GPT-4o(“o”代表“omni”)是 OpenAI 的旗舰级多模态模型,在统一架构中集成了文本、视觉和音频理解能力。该模型具有实时响应、卓越的多语言支持和增强的推理能力。作为 GPT-4 系列的演进版本,它不仅提升了效率,还提供了更广泛的模态支持。


其他 GPT-4o 模型
  • 没有相关模型