趋近智
参数
314B
上下文长度
128K
模态
Text
架构
Dense
许可证
Proprietary
发布日期
1 Jun 2025
训练数据截止日期
Jan 2025
注意力
注意力结构
Multi-Head Attention
注意力头
48
键值头
8
注意力头维度
-
位置嵌入
Absolute Position Embedding
RoPE Theta
-
滑动窗口注意力
-
滑动窗口大小
-
归一化
RMS Normalization
激活函数
-
维度
隐藏维度大小
6,144
层数
64
FFN 中间层大小(稠密层)
-
多 Token 预测头数
-
分词器
词汇量大小
-
Grok Code Fast 是由 xAI 开发的专业大语言模型,专为支持高速智能体化(agentic)编码工作流而设计。该模型采用从底层开始构建的自定义架构,在海量编程相关语料库上进行预训练,并使用源自真实世界合并请求(PR)和实际软件工程任务的高质量后训练数据集进行微调。这种专业化使模型在 TypeScript、Python、Java、Rust、C++ 和 Go 等流行语言中保持极高的熟练度,同时针对实时开发环境的低延迟需求进行了优化。
在技术层面,该模型采用稀疏混合专家(MoE)架构,旨在平衡计算效率与高能力推理。这种结构选择使模型能够处理复杂指令并管理多步工具交互,且不会产生通常与同等规模稠密模型相关的延迟负担。Grok Code Fast 的一个显著特征是其与开发人员工具的深度集成;它经过专门训练,可以执行终端操作,使用 grep 等实用程序进行全仓库文件搜索,并进行精准的代码重构。该模型还融入了先进的提示词缓存技术,显著缩短了 IDE 交互中常见的重复性、高上下文查询的响应时间。
在实际应用中,Grok Code Fast 针对自主和半自主任务进行了优化,例如项目脚手架搭建、代码库探索和精准 Bug 修复。它具备 256,000 token 的超大上下文窗口,为模型同时摄取和推理代码库的大部分内容提供了必要的内存支持。通过优先考虑吞吐量和工具调用的可靠性,该模型可作为现代 AI 驱动的编码助手和自动化智能体的响应式后端,满足推理与代码执行之间紧密反馈循环的需求。
xAI 的对话式 AI 模型系列,具备实时知识访问能力,在推理、编程和语言任务方面表现优异。其特点包括扩展的上下文窗口、快速推理变体以及专门的编程版本。该系列模型以直率的沟通风格以及与 X 平台的深度集成而著称,并包含推理变体和针对不同延迟需求优化的版本。
排名
#141
| 基准 | 分数 | 排名 |
|---|---|---|
0.33 | 39 | |
0.49 | 39 | |
0.42 | 50 | |
0.64 | 51 | |
0.56 | 55 | |
Web 开发 WebDev Arena | 1139 | 106 |
APX AI
在线