Gemma 3 4B

技术规格

Gemma 3 4B

Gemma 3 4B 是由 Google 开发的基础视觉语言模型，旨在处理文本和图像输入并生成文本输出。它是 Gemma 3 系列轻量级、尖端模型的一部分，该系列基于构建 Google Gemini 模型的相同研究和技术。这个 40 亿参数变体针对各种硬件环境的高效性能进行了优化，涵盖了从云端规模部署到工作站、笔记本电脑和移动设备上的设备端运行。

在架构方面，Gemma 3 4B 采用了仅解码器（decoder-only）的 Transformer 设计。其关键创新包括优化的注意力机制，该机制将局部滑动窗口自注意力层与全局自注意力层以 5:1 的比例交错排列，并减小了局部注意力的窗口大小。这种架构修改旨在降低 KV 缓存（KV-cache）的内存开销，从而在不损害困惑度（perplexity）的情况下，实现对超长上下文的高效处理。该模型利用自定义的 SigLIP 视觉编码器将 896x896 像素的正方形图像转换为语言模型的标记（Token），并采用“Pan&Scan”算法来处理不同宽高比或更高分辨率的图像。

Gemma 3 4B 专为广泛的生成式 AI 任务而设计，包括问答、摘要和复杂推理。其多模态能力使其能够对视觉数据进行全面的理解和分析，例如物体识别或从图像中提取文本。该模型支持 128,000 个 Token 的上下文窗口，并具备强大的多语言处理能力，支持超过 140 种语言。此外，它还集成了函数调用功能，支持创建能够与外部工具和应用程序编程接口（API）交互的智能代理。

推荐 GPU

资源