ApX 标志ApX 标志

趋近智

AliceAI Foundation 80B A3B Base

活跃参数

80B

上下文长度

262K

模态

Text

架构

Mixture of Experts

KV 缓存速率

96 KB/tok

许可证

Apache 2.0

发布日期

12 Sept 2026

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 157.85 GB

FP16 · 8K context

基础权重: 154.60 GB

KV 缓存: 0.75 GB

运行时与计算图: 2.50 GB

最小所需硬件

8x NVIDIA H100 80GB

157.8 / 576.0 GB usable · TP 8

8x RTX 4090 24GB

157.8 / 172.8 GB usable · TP 8

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.16.1

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

额外依赖包

请配合标准运行时库一并安装:

pip install fla

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 2k · Context: 262K · Vocab: 129kx 48 layersRMSNormPre-AttentionGrouped-Query Attention16Q / 2KV headsHead dim: 256+RMSNormPre-FFNSparse MoE FFN (10/512 experts)SwiGLUIntermediate: 512+Final RMSNormOutput Logits

评估基准

没有可用的 AliceAI Foundation 80B A3B Base 评估基准。

排名

排名

-

编程排名

-

关于 AliceAI Foundation 80B A3B Base

AliceAI Foundation 80B A3B Base 是由 Yandex 开发的一种稀疏混合专家 (MoE) 基座模型。该模型在 80B 的总参数池中通过 3B 激活参数对 token 进行路由,在推理过程中具有极高的计算效率,并提供强大的多语言和推理能力。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

16

键值头

2

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

1,000,000

线性注意力

Yes

线性注意力比例

75.0%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

2,048

层数

48

多 Token 预测头数

1

分词器

词汇量大小

129,024

混合专家

专家参数总数

3.0B

专家数量

512

活跃专家

10

共享专家数

1

FFN 中间层大小(每专家)

512

MoE 前的稠密层数

0

关于 AliceAI

The AliceAI model family developed by Yandex.


其他 AliceAI 模型
  • 没有相关模型