趋近智
Kolibri 1
活跃参数
78B
上下文长度
262K
模态
Text
架构
Mixture of Experts
KV 缓存速率
100 KB/tok
许可证
Apache 2.0
发布日期
2 Oct 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
硬件与系统要求
精度
上下文
工作负载显存: 155.09 GB
FP16 · 8K context
基础权重: 151.81 GB
KV 缓存: 0.78 GB
运行时与计算图: 2.50 GB
最小所需硬件
8x NVIDIA H100 80GB
155.1 / 576.0 GB usable · TP 8
8x RTX 4090 24GB
155.1 / 172.8 GB usable · TP 8
确定特定工作负载的硬件需求：
在显存计算器中打开
运行时要求
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.40.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
架构图
评估基准
没有可用的 Kolibri 1 评估基准。
排名
排名
-
编程排名
-
关于 Kolibri 1
Kolibri 1 is an open foundation language model released by Aleph Alpha featuring native causal language modeling architectures. It is designed for European multilingual processing, enterprise compliance, and general reasoning tasks.
Specifications
注意力
注意力结构
Grouped-Query Attention
注意力头
48
键值头
4
注意力头维度
128
位置嵌入
ROPE
RoPE Theta
10,000
滑动窗口注意力
Yes
滑动窗口大小
513
滑动窗口比例
80.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
2,560
层数
50
分词器
词汇量大小
128,000
混合专家
专家参数总数
3.5B
专家数量
384
活跃专家
6
共享专家数
1
FFN 中间层大小（每专家）
512
MoE 前的稠密层数
0
资源
关于 Kolibri
The Kolibri model family developed by Aleph Alpha.
其他 Kolibri 模型
- 没有相关模型