Falcon3-7B

技术规格

Falcon3-7B

Falcon 3-7B 是由技术创新研究所 (TII) 开发的一款先进的指令微调语言模型。该模型变体是 Falcon 3 系列的成员，专注于增强在科学领域、数学和代码生成方面的能力。它专为高效性和可扩展性而设计，支持在包括计算资源有限的环境在内的各种基础设施上部署。该模型支持多语言应用，训练涵盖了英语、法语、西班牙语和/或葡萄牙语，并旨在处理长上下文任务。

Falcon 3-7B 的架构基础是基于 Transformer 的仅解码器（causal decoder-only）设计，包含 28 个解码器块。它采用分组查询注意力（GQA）以优化推理速度和内存效率，配置有 12 个查询头和 4 个键值头，头部维度为 256。该模型集成了旋转位置嵌入（RoPE），其 base 值高达 1000042，以实现对高达 32,000 个 token 的扩展上下文的有效理解和处理。激活函数采用 SwiGLU 实现，并辅以 RMSNorm 进行归一化，从而提高了训练的稳定性和效率。此外，该模型还针对 FlashAttention-3 进行了优化。

Falcon 3-7B 在包含 14 万亿（14T）token 的多样化网页、代码、科学及高质量多语言数据集上进行了预训练。在预训练之后，它又在 120 万个样本上进行了进一步微调，这些样本专门针对 STEM 内容、对话交互、代码和安全合规性进行了定制。这种全面的训练方案使该模型能够在各种应用中表现稳健，包括科学和数学问题的解决、多语言内容生成以及长篇文本信息的处理。其设计支持指令遵循任务，使其适用于教育工具、研究辅助以及技术文档的生成。

没有可用的 Falcon3-7B 评估基准。

推荐 GPU

资源