Gemma 3 12B

技术规格

Gemma 3 12B

Gemma 3 12B 是由 Google 开发的一款拥有 120 亿参数的多模态模型，旨在处理文本和图像输入并生成文本输出。该模型属于 Gemma 系列，基于 Gemini 系列模型所采用的基础研究和技术构建而成。其架构设计采用仅解码器（decoder-only）的 Transformer 结构，并结合了分组查询注意力（GQA）机制，其中包含一种独特的模式：每五层局部滑动窗口自注意力层交替嵌套一层全局自注意力层。这种配置旨在优化 KV 缓存内存利用率，从而提高效率，特别是在处理长序列时。位置编码通过旋转位置嵌入（RoPE）处理，并针对扩展的上下文窗口调整了更高的基准频率。

Gemma 3 12B 针对多种硬件配置进行了部署优化，可在单 GPU 系统、工作站、笔记本电脑甚至移动设备上高效运行。其多模态能力是通过集成定制的 SigLIP 视觉编码器实现的，该编码器将图像转换为一系列软标记（soft tokens）以进行处理。该模型支持 128,000 个标记的超长上下文，使其能够在单个提示词中处理大量信息，包括长篇文档和多张图像。此外，它还提供广泛的多语言支持，涵盖 140 多种语言。

Gemma 3 12B 的典型用例包括高级自然语言理解与生成任务，如问答、全面摘要和复杂推理。其多模态能力扩展到图像解读、视觉数据中的对象识别以及从图像中提取文本信息，使其适用于各种视觉语言应用。该模型还支持函数调用（function calling），便于开发用于编程交互的自然语言接口。

推荐 GPU

资源