SEA-LION-7B-Instruct

技术规格

SEA-LION-7B-Instruct

SEA-LION-7B-Instruct 是一款专为东南亚 (SEA) 地区设计的大语言模型，针对该地区多种语言提供了优化的指令遵循能力。该模型由 AI Singapore 开发，基于 MosaicML 预训练 Transformer (MPT) 架构构建，这是一种专为高效训练和推理而设计的仅解码器架构。该模型采用了定制设计的 SEABPETokenizer，其词表大小高达 256,000，专为处理东南亚语言独特的语言结构和字符集而量身定制，与通用分词器相比，显著降低了分词开销并提升了语义表示能力。

在技术架构上，该模型是一个稠密 Transformer，并融入了诸如分组查询注意力 (GQA) 等关键优化技术，以提升推理过程中的内存效率和性能。它采用旋转位置嵌入 (RoPE)，以增强其在上下文窗口内处理长距离依赖的能力。指令微调阶段使用了经过严格筛选的英语和印尼语指令-完成对数据集，以及针对马来语、泰语、越南语、菲律宾语、泰米尔语、缅甸语、高棉语和老挝语等其他东盟语言的小规模数据集。微调过程采用了参数高效微调 (PEFT) 技术，特别是低秩自适应 (LoRA)，确保模型在保留基础知识的同时，能够胜任任务导向型的响应。

该模型的性能核心在于其能在东南亚文化和语言语境下执行自然语言理解 (NLU)、生成 (NLG) 和推理 (NLR) 任务。它在区域性问答、本地化情感分析以及英语与东南亚语言互译等应用场景中表现尤为出色。通过优先选用符合商用许可且高质量的训练数据，该模型为开发者构建针对新加坡及更广泛东盟市场、且需具备文化底蕴和语言准确性的 AI 应用提供了可靠的基础。

没有可用的 SEA-LION-7B-Instruct 评估基准。