ApX 标志ApX 标志

趋近智

GreenMind-14B-R1

参数

14B

上下文长度

33K

模态

Text

架构

Dense

KV 缓存速率

160 KB/tok

许可证

Apache-2.0

发布日期

23 Sept 2024

训练数据截止日期

Sep 2024

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 10.27 GB

INT4 · 8K context

基础权重: 6.52 GB

KV 缓存: 1.25 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

10.3 / 21.6 GB usable

1x RTX 3060 12GB

10.3 / 10.8 GB usable

Apple M4 24GB

10.3 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.40.1

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 5.1k · Context: 33Kx 40 layersRMSNormPre-AttentionMulti-Head Attention40Q / 8KV headsHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwiGLU+Final RMSNormOutput Logits

评估基准

没有可用的 GreenMind-14B-R1 评估基准。

排名

排名

-

编程排名

-

关于 GreenMind-14B-R1

GreenMind-14B-R1 是由 GreenNode 开发的一款拥有 147 亿参数的越南语推理模型。它是一个基于 Qwen2.5-14B-Instruct 基础架构衍生的稠密(dense)、仅解码器(decoder-only)Transformer 模型。该模型专门针对越南语的多步逻辑推理和高保真文本生成而设计,解决了长链条推理中常见的语言混杂和事实漂移等局限性。通过应用思维链(CoT)方法,GreenMind 旨在将复杂的查询分解为中间逻辑步骤,然后再生成最终回复。

该模型采用了一种名为组相对策略优化(GRPO)的专门微调策略,在保持计算效率的同时优化了推理过程。这一训练方法辅以一个精选的越南语指令数据集,其中包含超过 55,000 个涵盖文化、法律和教育领域的样本。为了确保语言一致性,训练流水线集成了特定的奖励函数和基于 Sentence Transformer 的验证,以防止非越南语字符的侵入,并保持推理路径的事实完整性。

GreenMind-14B-R1 针对 NVIDIA NIM 部署进行了优化,适用于企业级应用,包括法律和金融助手、上下文感知对话智能体以及复杂的文档检索系统。该架构支持高达 131,072 个 token 的输入处理上下文长度,最大生成限制为 8,192 个 token。它集成了 RoPE 位置嵌入和 SwiGLU 激活函数等现代 Transformer 技术,使其成为越南本土化 AI 基础设施中具备高度技术先进性的工具。

Specifications

注意力

注意力结构

Multi-Head Attention

注意力头

40

键值头

8

位置嵌入

Absolute Position Embedding

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

5,120

层数

40

关于 GreenMind

GreenMind 是由 GreenNode 开发的开源越南语推理语言模型系列。它针对越南语的多步推理任务(如逻辑、数学和情景分析)进行了优化。该模型旨在单 GPU 硬件配置下高效运行。


其他 GreenMind 模型
  • 没有相关模型