趋近智
ILMU 1.0
活跃参数
671B
上下文长度
128K
模态
Text
架构
Mixture of Experts (MoE)
许可证
Proprietary
发布日期
12 Aug 2025
训练数据截止日期
Dec 2024
技术规格
注意力
注意力结构
Multi-Head Attention
注意力头
128
键值头
1
注意力头维度
-
位置嵌入
ROPE
RoPE Theta
-
滑动窗口注意力
-
滑动窗口大小
-
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
2,048
层数
61
FFN 中间层大小（稠密层）
-
多 Token 预测头数
-
分词器
词汇量大小
-
混合专家
专家参数总数
37.0B
专家数量
257
活跃专家
9
共享专家数
-
FFN 中间层大小（每专家）
-
MoE 前的稠密层数
-
ILMU 1.0
ILMU 是一款马来西亚主权语言模型。该模型基于经过微调的 DeepSeek-V3 R1 架构，针对本地化推理和马来语（Bahasa Malaysia）的语言特性进行了优化。它利用强化学习使逻辑符合当地专业标准，特别确保对马来西亚多元宗教和传统的包容性，并严格尊重文化、体制和皇室（3R）。该模型经过校准，能够识别马来西亚的敏感话题和不雅用语，以维护得体的社交礼仪。
关于 ILMU
Intelek Luhur Malaysia Untukmu (ILMU) 是由 YTL AI Labs 开发的一款语言模型。该模型在 YTL AI Cloud 基础设施上训练，旨在适应马来西亚的社会规范和语言细微差别，包括马来语和中文。
其他 ILMU 模型
- 没有相关模型
评估基准
没有可用的 ILMU 1.0 评估基准。