趋近智
AREX-2
参数
27B
上下文长度
262K
模态
Text
架构
Dense
KV 缓存速率
256 KB/tok
许可证
Apache 2.0
发布日期
29 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
硬件与系统要求
精度
上下文
工作负载显存: 17.07 GB
INT4 · 8K context
基础权重: 12.57 GB
KV 缓存: 2.00 GB
运行时与计算图: 2.50 GB
最小所需硬件
1x NVIDIA L4 24GB
17.1 / 21.6 GB usable
2x RTX 4090 24GB
17.1 / 43.2 GB usable · TP 2
Apple M4 24GB
17.1 / 18.0 GB usable
确定特定工作负载的硬件需求：
在显存计算器中打开
运行时要求
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.2.0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
架构图
评估基准
没有可用的 AREX-2 评估基准。
排名
排名
-
编程排名
-
关于 AREX-2
AREX-2 is an open foundation language model released by BAAI built on enhanced transformer architecture. It is designed for multi-turn conversational interaction, code comprehension, and general language tasks.
Specifications
注意力
注意力结构
Grouped-Query Attention
注意力头
24
键值头
4
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
5,120
层数
64
FFN 中间层大小（稠密层）
17,408
多 Token 预测头数
1
分词器
词汇量大小
248,320
资源
关于 AREX
The AREX model family developed by BAAI.
其他 AREX 模型
- 没有相关模型