Hunyuan A13B

系统要求

不同量化方法和上下文大小的显存要求

没有可用的 Hunyuan A13B 评估基准。

关于 Hunyuan A13B

腾讯混元（Hunyuan）A13B 是一款采用混合专家（MoE）架构工程化的大语言模型，拥有 800 亿总参数量，其中在推理过程中激活的参数量为 130 亿。这种设计方法旨在优化计算效率，同时保持强大的性能表现。该模型作为开源资源发布，旨在为研究人员和开发者在需要谨慎考虑资源分配的场景中提供先进的 AI 解决方案。它的开发解决了扩展大语言模型的挑战，通过提供一种框架，在不要求每个任务都全量激活所有参数的情况下，实现了极大的模型容量。

Hunyuan A13B 的核心创新在于其稀疏 MoE 架构，该架构能够动态地将输入路由到专门的“专家”神经网络子集中。具体而言，该架构包含 32 层，并结合了 SwiGLU 激活函数。它利用分组查询注意力（GQA）来提高推理效率并减少处理过程中的内存占用。一个显著特点是其混合推理模式，使模型能够根据输入的复杂程度，在快速响应的“快思考”模式和处理复杂、多步骤问题的“慢思考”模式之间动态调整处理深度。该模型在超过 20 万亿 token 的庞大语料库上进行训练，其中特别强调了科学、技术、工程和数学（STEM）领域的数据。

Hunyuan A13B 支持高达 256,000 token 的超长上下文窗口，有助于对长文档或持久对话序列进行全面的理解和内容生成。该模型针对智能体（Agent）任务进行了优化，在数学推理、逻辑分析和复杂指令遵循等领域展现了出色的能力。其设计强调高效推理，支持包括 FP8 和 INT4 在内的多种量化格式，使其能够部署在具有不同硬件规格的环境中。这使得它适用于既需要强大的语言处理能力又需要优化计算资源利用的应用，甚至有可能在单个中端 GPU 上运行。

技术规格

资源

关于 Hunyuan

具备多种能力的腾讯混元大语言模型。

其他 Hunyuan 模型

• Hunyuan Lite
• Hunyuan Turbo
• Hunyuan TurboS
• Hunyuan Standard
• Hunyuan T1
• Hunyuan Large