Gemma 1 7B

最小所需硬件

关于 Gemma 1 7B

Gemma 是由 Google 开发的一个轻量级、仅解码器 (decoder-only) 语言模型系列，借鉴了与 Gemini 模型相同的研究和技术。Gemma 1 7B 是其 70 亿参数变体，专为文本到文本生成任务而设计，包括问答、摘要和推理。该模型采用了 Transformer 仅解码器架构。

关键架构组件包括用于注意力机制的多头注意力 (MHA) 和用于编码位置信息的旋转位置嵌入 (RoPE)。所使用的激活函数为 GeGLU，归一化则通过 RMSNorm 完成。该模型的训练依托于 Google 的第五代张量处理单元 (TPUv5e)，并利用 JAX 和 ML Pathways 实现了高效的大规模训练。

Gemma 1 7B 在约 6 万亿个 token 的数据上进行了训练，这些数据主要为英文，涵盖了多样化的网络文档、数学文本和代码。数据预处理过程涉及严格的过滤，以移除有害或敏感内容，符合负责任的 AI 开发实践。该模型相对紧凑的尺寸使其能够部署在从个人笔记本电脑、工作站到云基础设施的各种环境中。

技术规格

资源

关于 Gemma 1

Gemma 1 是由 Google 推出的一系列轻量级、仅解码器架构的 Transformer 模型，提供 2B 和 7B 两种参数规模。该系列模型旨在处理各种文本生成任务，集成了旋转位置嵌入、共享输入/输出嵌入、GEGLU 激活函数以及 RMSNorm。其中，2B 模型采用多查询注意力（Multi-Query Attention）机制，而 7B 模型则采用多头注意力（Multi-Head Attention）机制。

其他 Gemma 1 模型

• Gemma 1 2B