趋近智

所有课程

了解大型语言模型大小与硬件需求

章节 1: 大型语言模型及其规模介绍

什么是大型语言模型（LLM）？

了解模型参数

模型大小如何衡量

不同模型大小的例子

第 1 章测验

章节 2: 人工智能必需的硬件组件

中央处理器 (CPU)

随机存取存储器 (RAM)

图形处理器 (GPU)

视频内存 (VRAM)

TPU简要介绍

第 2 章测验

章节 3: 模型大小与硬件需求的关联

模型参数与内存占用

数据类型与精度 (FP16, INT8)

量化简介

计算需求 (FLOPS)

内存带宽的重要性

第 3 章测验

章节 4: 运行LLM：推理与训练

什么是模型推理？

推理的硬件需求

什么是模型训练？

训练的硬件需求

专注于推理需求

第 4 章测验

章节 5: 估算硬件需求

显存需求估算：参数量经验法则

考虑激活内存

影响实际使用量的因素

检查硬件配置

实践：简单的显存估算

第 5 章测验

趋近智

Assistant

在线

趋近智

所有课程

了解大型语言模型大小与硬件需求

章节 1: 大型语言模型及其规模介绍

什么是大型语言模型（LLM）？

了解模型参数

模型大小如何衡量

不同模型大小的例子

第 1 章测验

章节 2: 人工智能必需的硬件组件

中央处理器 (CPU)

随机存取存储器 (RAM)

图形处理器 (GPU)

视频内存 (VRAM)

TPU简要介绍

第 2 章测验

章节 3: 模型大小与硬件需求的关联

模型参数与内存占用

数据类型与精度 (FP16, INT8)

量化简介

计算需求 (FLOPS)

内存带宽的重要性

第 3 章测验

章节 4: 运行LLM：推理与训练

什么是模型推理？

推理的硬件需求

什么是模型训练？

训练的硬件需求

专注于推理需求

第 4 章测验

章节 5: 估算硬件需求

显存需求估算：参数量经验法则

考虑激活内存

影响实际使用量的因素

检查硬件配置

实践：简单的显存估算

第 5 章测验