趋近智
FrogNano 4B
参数
4B
上下文长度
262K
模态
Text
架构
Dense
KV 缓存速率
128 KB/tok
许可证
MIT License
发布日期
17 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
硬件与系统要求
精度
上下文
工作负载显存: 5.36 GB
INT4 · 8K context
基础权重: 1.86 GB
KV 缓存: 1.00 GB
运行时与计算图: 2.50 GB
最小所需硬件
1x NVIDIA L4 24GB
5.4 / 21.6 GB usable
1x RTX 3060 12GB
5.4 / 10.8 GB usable
Apple M4 24GB
5.4 / 18.0 GB usable
确定特定工作负载的硬件需求：
在显存计算器中打开
运行时要求
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.57.0.dev0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
架构图
评估基准
没有可用的 FrogNano 4B 评估基准。
排名
排名
-
编程排名
-
关于 FrogNano 4B
FrogNano 4B is a compact multimodal language model developed by Microsoft for efficient edge computing and visual reasoning. It adapts dense transformer blocks to deliver strong multimodal performance under strict parameter budgets.
Specifications
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
4
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
2,560
层数
32
FFN 中间层大小（稠密层）
9,216
多 Token 预测头数
1
分词器
词汇量大小
248,320
资源
关于 FrogNano
The FrogNano model family developed by Microsoft.
其他 FrogNano 模型
- 没有相关模型