ApX 标志ApX 标志

趋近智

Command R

参数

35B

上下文长度

128K

模态

Text

架构

Dense

KV 缓存速率

160 KB/tok

许可证

CC-BY-NC

发布日期

11 Mar 2024

训练数据截止日期

Jun 2024

API 价格 (每 1M)

输入: $0.15 · 输出: $0.60

硬件选型

精度

上下文

工作负载显存: 20.05 GB

INT4 · 8K context

基础权重: 16.30 GB

KV 缓存: 1.25 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

20.0 / 21.6 GB usable

2x RTX 4090 24GB

20.0 / 43.2 GB usable · TP 2

Apple M3 Pro 36GB

20.0 / 27.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 8.2k · Context: 128Kx 40 layersLayerNormPre-AttentionMulti-Head Attention64Q / 8KV headsHead dim: 128+LayerNormPre-FFNFeed-Forward NetworkSwiGLU+Final LayerNormOutput Logits

评估基准

排名

#215

基准分数排名

通用文本

Text Arena

1227

180

0.05

324

排名

排名

#215

编程排名

-

关于 Command R

Cohere Command R 是一款生成式语言模型,专为高性能企业级工作负载而设计,侧重于长上下文处理和工具增强型工作流。该模型基于优化的仅解码器(decoder-only)Transformer 架构,利用分组查询注意力(GQA)技术,在维持 128,000 标记(token)超长上下文窗口的同时,有效降低了大规模注意力机制通常带来的内存开销。通过在推理效率与高保真输出之间取得平衡,它旨在促进从实验性原型向生产级部署的平稳过渡。

该模型经过了多阶段训练过程,包括在多样化多语言语料库上的广泛预训练,以及随后通过监督微调和偏好优化进行的对齐。其核心架构特性在于针对有据生成(grounded generation)的原生训练,使模型能够生成带有外部文档源精确行内引用的回答。这使其在检索增强生成(RAG)流水线中表现尤为出色,能够满足保持事实一致性和来源可追溯性的核心要求。此外,Command R 支持复杂的多步工具调用,使其能够作为智能体(agent)运行,通过与外部 API、数据库和软件工具交互来推理并处理复杂任务。

Command R 针对全球商业应用进行了优化,提供对 10 种语言的原生支持,并总计经过 23 种语言的训练,确保了在国际市场上的多功能性。其架构采用了旋转位置嵌入(RoPE)和层归一化(Layer Normalization)等先进组件,以确保在处理大规模输入序列时的稳定性和连贯性。通过专注于文档摘要、复杂推理和结构化数据分析等实用任务,Command R 为自动化企业系统和智能体工作流提供了可扩展的核心支撑。

技术规格

注意力

注意力结构

Multi-Head Attention

注意力头

64

键值头

8

位置嵌入

Absolute Position Embedding

归一化

Layer Normalization

激活函数

SwigLU

维度

隐藏维度大小

8,192

层数

40

关于 Command


其他 Command 模型