ERNIE-4.5-VL-28B-A3B-Base

技术规格

ERNIE-4.5-VL-28B-A3B-Base

ERNIE-4.5-VL-28B-A3B-Base 是由百度开发的多模态混合专家 (MoE) 基座模型，属于文心大模型 (ERNIE) 4.5 系列。该模型专为复杂的视觉语言任务而设计，总参数量达 280 亿，但在推理过程中每个 Token 仅激活 30 亿参数。这种稀疏激活策略使模型在保持大规模系统广泛知识容量的同时，显著降低了高参数模型通常带来的计算开销和延迟。它旨在处理和综合包括文本、图像和视频在内的多种模态信息，并支持高达 131,072 个 Token 的超长上下文。

ERNIE-4.5-VL 系列的技术架构引入了异构 MoE 结构，既实现了跨模态的参数共享，又为特定模态配置了专用参数。其关键创新包括：防止文本和视觉学习相互干扰的模态隔离路由，以及确保专家调用率稳定的路由正交损失和多模态 Token 平衡损失机制。此外，模型采用分组查询注意力 (GQA) 以优化内存管理，并利用旋转位置嵌入 (RoPE) 来处理长上下文窗口。训练过程在飞桨 (PaddlePaddle) 深度学习框架上完成，采用了包括节点内专家并行和 FP8 混合精度训练在内的先进并行化策略。

在应用层面，ERNIE-4.5-VL-28B-A3B-Base 可作为需要高保真跨模态推理应用的通用骨干网络。它支持不同的功能模式，包括用于增强逻辑推理的“思考”模式，以及针对文档分析、光学字符识别 (OCR) 和视觉知识检索等感知任务优化的“非思考”模式。其能力还扩展到了智能体 (Agentic) 交互，能够利用外部工具进行精细化的图像缩放或搜索。该模型以 Apache 2.0 许可证开源权重，为开发者和研究人员在各类硬件平台上部署多模态解决方案提供了灵活的资源。

没有可用的 ERNIE-4.5-VL-28B-A3B-Base 评估基准。

推荐 GPU

资源