趋近智
参数
70B
上下文长度
128K
模态
Text
架构
Dense
KV 缓存速率
320 KB/tok
许可证
Apache-2.0
发布日期
1 Jun 2024
训练数据截止日期
Dec 2023
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 37.60 GB
INT4 · 8K context
基础权重: 32.60 GB
KV 缓存: 2.50 GB
运行时与计算图: 2.50 GB
1x NVIDIA A40 48GB
37.6 / 43.2 GB usable
2x RTX 4090 24GB
37.6 / 43.2 GB usable · TP 2
Apple M4 Max 128GB
37.6 / 96.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.40.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
没有可用的 Typhoon-2-70B 评估基准。
排名
-
编程排名
-
Typhoon-2-70B 是由 SCB 10X 开发的高容量泰英双语大语言模型,其架构专门针对泰语的语言复杂性而设计。该模型以 Llama 3.1 70B 为基础,在超过 50 亿个高质量泰语 token 的精选语料库上进行了广泛的持续预训练。这一训练过程旨在使模型契合泰国的文化细微差别和语言结构,同时保留底层架构原有的英语推理能力。由此产生的模型可作为在双语环境下对精度有极高要求的企业级应用的基础。
在技术架构上,该模型采用稠密、仅解码器(decoder-only)的 Transformer 结构,并结合分组查询注意力(GQA)机制以优化推理效率和内存吞吐量。它拥有 128K token 的上下文窗口,能够处理长篇法律文件、技术手册和多轮对话历史。模型集成了先进的后训练技术,包括有监督微调(SFT)和直接偏好优化(DPO),以增强其指令遵循的准确性和函数调用(function-calling)能力。这些优化使模型能够与外部工具和 API 进行交互,从而支持复杂的智能体(agentic)工作流。
Typhoon-2-70B 根据 Llama 3.1 社区许可协议发布,为开发人员将主权 AI(sovereign AI)能力集成到生产环境提供了透明的路径。其设计重点提升了在法律推理、文化内容生成和复杂数据分析等泰语专业领域的性能。通过填补以英语为中心的基础模型与本地语言需求之间的空白,Typhoon-2-70B 助力开发出既符合本地需求,又在推理和准确性方面保持全球顶尖水平的本地化 AI 解决方案。
注意力
注意力结构
Multi-Head Attention
注意力头
64
键值头
8
位置嵌入
Absolute Position Embedding
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
8,192
层数
80
Typhoon 是由 SCB 10X 开发的大语言模型系列,专为泰语进行了优化。它针对泰语中缺乏分词符以及声调细微差别等复杂特性进行了专门处理。该系列模型在以泰语为核心的数据集(包括法律、文化和历史文献)上进行了训练,以确保具备本地化的上下文理解和知识储备。