ApX 标志ApX 标志

趋近智

Spark X2.5 1.7B

参数

1.7B

上下文长度

1.05M

模态

Text

架构

Dense

KV 缓存速率

56 KB/tok

许可证

Apache 2.0

发布日期

24 Aug 2026

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件选型

精度

上下文

工作负载显存: 3.73 GB

INT4 · 8K context

基础权重: 0.79 GB

KV 缓存: 0.44 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

3.7 / 21.6 GB usable

1x RTX 3060 12GB

3.7 / 10.8 GB usable

Apple M4 24GB

3.7 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 2k · Context: 1.05M · Vocab: 131.1kx 28 layersRMSNormPre-AttentionGrouped-Query Attention8Q / 2KV heads · SW: 512Head dim: 256+RMSNormPre-FFNFeed-Forward NetworkGELUIntermediate: 6.7k+Final RMSNormOutput Logits

评估基准

没有可用的 Spark X2.5 1.7B 评估基准。

排名

排名

-

编程排名

-

关于 Spark X2.5 1.7B

Spark X2.5 1.7B 是一款超轻量级开源模型,专为移动端及端侧文本生成而设计。它在极低延迟、低内存占用与稳健的通用领域理解能力之间取得了平衡。

技术规格

注意力

注意力结构

Grouped-Query Attention

注意力头

8

键值头

2

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

5,000,000

滑动窗口注意力

Yes

滑动窗口大小

512

滑动窗口比例

75.0%

归一化

RMS Normalization

激活函数

GELU

维度

隐藏维度大小

2,048

层数

28

FFN 中间层大小(稠密层)

6,656

分词器

词汇量大小

131,072

关于 Spark X

The Spark X model series developed by Thinking Machine Labs, featuring lightweight and high-efficiency models optimized for edge deployment, fast local inference, and low memory footprints.


其他 Spark X 模型