趋近智
活跃参数
80B
上下文长度
262K
模态
Text
架构
Mixture of Experts
KV 缓存速率
96 KB/tok
许可证
Apache 2.0
发布日期
12 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 157.85 GB
FP16 · 8K context
基础权重: 154.60 GB
KV 缓存: 0.75 GB
运行时与计算图: 2.50 GB
8x NVIDIA H100 80GB
157.8 / 576.0 GB usable · TP 8
8x RTX 4090 24GB
157.8 / 172.8 GB usable · TP 8
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.16.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
额外依赖包
请配合标准运行时库一并安装:
pip install fla
没有可用的 AliceAI Foundation 80B A3B Base 评估基准。
排名
-
编程排名
-
AliceAI Foundation 80B A3B Base 是由 Yandex 开发的一种稀疏混合专家 (MoE) 基座模型。该模型在 80B 的总参数池中通过 3B 激活参数对 token 进行路由,在推理过程中具有极高的计算效率,并提供强大的多语言和推理能力。
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
2
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
1,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
2,048
层数
48
多 Token 预测头数
1
分词器
词汇量大小
129,024
混合专家
专家参数总数
3.0B
专家数量
512
活跃专家
10
共享专家数
1
FFN 中间层大小(每专家)
512
MoE 前的稠密层数
0
The AliceAI model family developed by Yandex.