ChatGLM3-6B-32K

系统要求

不同量化方法和上下文大小的显存要求

没有可用的 ChatGLM3-6B-32K 评估基准。

关于 ChatGLM3-6B-32K

ChatGLM3-6B-32K 是一款先进的大语言模型，专门针对长上下文的理解与生成进行了优化。该模型由智谱 AI 与清华大学 KEG 实验室联合开发，是 ChatGLM3-6B 架构的一个专门变体，经过特殊设计将有效上下文窗口扩展至 32,768 个 token。这一扩展使其能够处理长篇文档、长对话以及超出标准 Transformer 模型限制的复杂技术文本。

该模型的架构基于 28 层稠密 Transformer 框架。它融入了多项技术改进，以在扩展的上下文中保持稳定性和性能，包括使用 RMSNorm 进行归一化，以及采用多查询注意力（MQA）机制来优化推理效率。该变体的一个重要创新是更新了旋转位置嵌入（RoPE）机制，通过修改基频（rope_ratio）来确保在 32K token 范围内实现精确的位置分辨率。此外，该模型在对话阶段采用专门的训练方法，重点提升了长文本的连贯性。

ChatGLM3-6B-32K 旨在实现技术通用性，原生支持通过函数调用（function calling）进行工具调用、通过内置代码解释器执行代码，以及处理复杂的智能体（agent）任务。这些特性使其非常适合构建能够进行深度文本分析和多步推理的高级 AI 智能体。该模型的权重对学术研究开放，并在完成正式登记后可免费进行商业使用，体现了对推动普及高性能自然语言处理技术的承诺。

技术规格

资源

关于 ChatGLM

来自 Z.ai 的 ChatGLM 系列模型，基于 GLM 架构。

其他 ChatGLM 模型

• ChatGLM2-6B
• ChatGLM3-6B
• ChatGLM-6B