趋近智
排名
-
编程排名
-
Grok 4.6 是 xAI 推出的旗舰级前沿多模态智能模型,在庞大的 Colossus 超级计算机集群上训练而成。该模型具备原生视觉理解、来自 X 平台与互联网的实时检索增强以及扩展推理能力,专为复杂的数学推理、企业级编程和高自主性智能体工作流打造,支持高达 50 万 (500K) Token 的上下文窗口。
注意力
注意力结构
Multi-Head Attention
注意力头
-
键值头
-
注意力头维度
-
位置嵌入
ROPE
RoPE Theta
-
滑动窗口注意力
-
滑动窗口大小
-
滑动窗口比例
-
线性注意力
-
线性注意力比例
-
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
-
层数
-
FFN 中间层大小(稠密层)
-
多 Token 预测头数
-
分词器
词汇量大小
-
混合专家
专家参数总数
-
专家数量
-
活跃专家
-
共享专家数
-
FFN 中间层大小(每专家)
-
MoE 前的稠密层数
-
APX AI
在线