SmolVLM2 256M Video Instruct

参数

260M

上下文长度

8K

模态

Text

架构

Dense

KV 缓存速率

23 KB/tok

许可证

Apache 2.0

发布日期

11 Feb 2025

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 2.80 GB

INT4 · 8K context

基础权重: 0.12 GB

KV 缓存: 0.18 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

2.8 / 21.6 GB usable

1x RTX 3060 12GB

2.8 / 10.8 GB usable

Apple M4 24GB

2.8 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

BF16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.47.1

微架构精度注意力算子

Blackwell, Hopper

原生 BF16

FlashAttention-3

Ada Lovelace, Ampere

原生 BF16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 576 · Context: 8K · Vocab: 49.3kx 30 layersRMSNormPre-AttentionGrouped-Query Attention9Q / 3KV headsHead dim: 64+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 1.5k+Final RMSNormOutput Logits

评估基准

没有可用的 SmolVLM2 256M Video Instruct 评估基准。

排名

排名

-

编程排名

-

关于 SmolVLM2 256M Video Instruct

SmolVLM2 256M Video Instruct is a lightweight compact multimodal model tailored for video comprehension and instruction following on edge devices. It supports efficient multimodal reasoning with low memory and computational overhead.

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

9

键值头

3

注意力头维度

64

位置嵌入

ROPE

RoPE Theta

100,000

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

BF16

隐藏维度大小

576

层数

30

FFN 中间层大小(稠密层)

1,536

分词器

词汇量大小

49,280

关于 SmolLM Family

SmolLM 开放权重语言模型(例如 SmolLM3)


其他 SmolLM Family 模型