GLM-5

技术规格

GLM-5

GLM-5 是由 Z.ai 开发的旗舰级多模态基础模型，专为复杂系统工程和长跨度智能体（agentic）工作流设计。该模型采用混合专家（MoE）架构，总参数量达 7440 亿，每个 token 的激活参数量约为 400 亿。这种设计在保持大规模部署所需的计算效率的同时，实现了高容量推理和专业知识检索。模型在包含 28.5 万亿 token 的海量语料库上进行训练，重点涵盖高质量代码、技术文档和推理密集型数据，旨在支持专业级软件开发和自主问题解决。

在技术层面，GLM-5 引入了多项架构创新，其中最显著的是集成了 DeepSeek 稀疏注意力（DSA）机制。该机制通过动态分配计算资源来优化标准注意力模块，显著降低了处理长序列时的显存和计算开销。此外，该模型在后期训练（post-training）中利用了名为“slime”的异步强化学习基础设施。该框架将生成过程与训练过程解耦以提高迭代吞吐量，使模型能够有效地从复杂的多步交互和动态环境中学习。

GLM-5 针对长上下文稳定性进行了优化，支持高达 204,800 个 token 的上下文窗口，并能在单次输出中生成多达 128,000 个 token。其功能涵盖高级工具调用、实时流式传输，以及跨前端、后端和数据处理任务的结构化输出。该模型在 MIT 许可证下开源权重，允许研究人员和开发人员进行本地部署、微调，并将其集成到各种智能体框架中，从而避免供应商锁定。

推荐 GPU

资源