ApX 标志ApX 标志

趋近智

Agnes 3.0 Flash

参数

33B

上下文长度

262K

模态

Text

架构

Dense

KV 缓存速率

288 KB/tok

许可证

Apache 2.0

发布日期

11 Sept 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.05 · 输出: $0.15

硬件选型

精度

上下文

工作负载显存: 20.12 GB

INT4 · 8K context

基础权重: 15.37 GB

KV 缓存: 2.25 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

20.1 / 21.6 GB usable

2x RTX 4090 24GB

20.1 / 43.2 GB usable · TP 2

Apple M3 Pro 36GB

20.1 / 27.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 5.1k · Context: 262K · Vocab: 248.3kx 72 layersRMSNormPre-AttentionGrouped-Query Attention24Q / 4KV headsHead dim: 256+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 17.4k+Final RMSNormOutput Logits

评估基准

没有可用的 Agnes 3.0 Flash 评估基准。

排名

排名

-

编程排名

-

关于 Agnes 3.0 Flash

Agnes 3.0 Flash 是一款轻量级条件生成模型,专为快速多模态和对话任务而设计。它针对延迟要求严苛的部署环境提供了优化的吞吐量。

技术规格

注意力

注意力结构

Grouped-Query Attention

注意力头

24

键值头

4

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

10,000,000

线性注意力

Yes

线性注意力比例

75.0%

归一化

RMS Normalization

激活函数

SwigLU

维度

隐藏维度大小

5,120

层数

72

FFN 中间层大小(稠密层)

17,408

多 Token 预测头数

1

分词器

词汇量大小

248,320

关于 Agnes 3.0

The Agnes 3.0 model family developed by Agnes AI.


其他 Agnes 3.0 模型
  • 没有相关模型