趋近智
参数
1.7B
上下文长度
1.05M
模态
Text
架构
Dense
KV 缓存速率
56 KB/tok
许可证
Apache 2.0
发布日期
24 Aug 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 3.73 GB
INT4 · 8K context
基础权重: 0.79 GB
KV 缓存: 0.44 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
3.7 / 21.6 GB usable
1x RTX 3060 12GB
3.7 / 10.8 GB usable
Apple M4 24GB
3.7 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
没有可用的 Spark X2.5 1.7B 评估基准。
排名
-
编程排名
-
Spark X2.5 1.7B 是一款超轻量级开源模型,专为移动端及端侧文本生成而设计。它在极低延迟、低内存占用与稳健的通用领域理解能力之间取得了平衡。
注意力
注意力结构
Grouped-Query Attention
注意力头
8
键值头
2
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
5,000,000
滑动窗口注意力
Yes
滑动窗口大小
512
滑动窗口比例
75.0%
归一化
RMS Normalization
激活函数
GELU
维度
隐藏维度大小
2,048
层数
28
FFN 中间层大小(稠密层)
6,656
分词器
词汇量大小
131,072
The Spark X model series developed by Thinking Machine Labs, featuring lightweight and high-efficiency models optimized for edge deployment, fast local inference, and low memory footprints.