Qwen2.5-0.5B

技术规格

Qwen2.5-0.5B

Qwen2.5-0.5B 是由阿里云 Qwen 团队开发的基础大语言模型。它是 Qwen2.5 系列的一部分，该系列代表了语言模型能力的进步，在知识获取、编程能力和数学推理方面均有提升。该变体拥有约 4.9 亿参数，是一个强大的基座模型，主要设计用于预训练以及随后针对专业化应用的微调。其架构旨在高效地处理多种语言的复杂语言任务。

在架构方面，Qwen2.5-0.5B 是一个稠密的、仅解码器（decoder-only）Transformer 模型。它采用了旋转位置嵌入（RoPE）以实现有效的位置编码，使用 SwiGLU 作为激活函数，并采用 RMSNorm 进行归一化。注意力机制使用了分组查询注意力（GQA），针对此模型规模具体配置为 14 个查询头和 2 个键值头。该模型结构包含 24 层，为其学习语言数据中复杂模式的深度和能力提供了保障。

作为一种因果语言模型，Qwen2.5-0.5B 在经过有监督微调或人类反馈强化学习等后训练环节后，适用于多种下游应用。其能力包括指令遵循、长文本序列生成以及处理 JSON 等结构化数据格式。该模型支持 32,768 个 token 的全上下文长度，而整个 Qwen2.5 系列能够处理高达 128,000 个 token 的上下文，并支持生成多达 8,000 个 token 的输出。它提供多语言支持，涵盖超过 29 种语言。

没有可用的 Qwen2.5-0.5B 评估基准。

推荐 GPU

资源