趋近智
Inkling 2 Small
活跃参数
2B
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
192 KB/tok
许可证
Apache 2.0
发布日期
4 Nov 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.30 · 输出: $1.00
硬件与系统要求
精度
上下文
工作负载显存: 12.85 GB
INT4 · 8K context
基础权重: 8.85 GB
KV 缓存: 1.50 GB
运行时与计算图: 2.50 GB
最小所需硬件
1x NVIDIA L4 24GB
12.8 / 21.6 GB usable
1x RTX 4060 Ti 16GB
12.8 / 14.4 GB usable
Apple M4 24GB
12.8 / 18.0 GB usable
确定特定工作负载的硬件需求：
在显存计算器中打开
运行时要求
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.40.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
架构图
评估基准
排名
#70
| 基准 | 分数 | 排名 |
|---|---|---|
0.31 | 83 |
排名
排名
#70
编程排名
-
关于 Inkling 2 Small
Inkling 2 Small is an efficient multimodal language model built by Thinking Machine Labs. It offers fast inference and compact parameter size for on-device and edge deployment.
Specifications
注意力
注意力结构
Grouped-Query Attention
注意力头
48
键值头
8
注意力头维度
128
位置嵌入
ROPE
RoPE Theta
1,000,000
滑动窗口注意力
Yes
滑动窗口大小
1,024
滑动窗口比例
83.3%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
4,608
层数
48
多 Token 预测头数
5
分词器
词汇量大小
201,024
混合专家
专家参数总数
17.0B
专家数量
384
活跃专家
8
共享专家数
0
FFN 中间层大小（每专家）
2,304
MoE 前的稠密层数
0
资源
关于 Inkling
Inkling is a family of open-weights multimodal Mixture-of-Experts (MoE) models developed by Thinking Machine Labs.