趋近智
理解模型的文件格式是使用大型语言模型的一个主要方面。可以把模型格式想象成电脑上的不同文件类型,比如.txt、.docx或.pdf。每种格式都有其自身的结构和用途,并非所有软件都能读取所有格式。对于大型语言模型,尤其是在本地运行时,文件格式会很大程度上影响其使用便捷性和在您机器上的运行表现。
模型通常使用大型、复杂的软件框架(如PyTorch或TensorFlow)进行训练。尽管这些框架在模型开发和训练方面功能强大,但其生成的模型文件(通常带.pth、.pt等扩展名,或存储在SavedModel等特定目录结构中)并不总是针对普通台式机或笔记本电脑硬件(特别是CPU)进行高效运行的优化。它们可能需要安装大型软件库才能加载和运行模型。
为了在您自己的电脑上高效运行大型语言模型,一种名为GGUF(Georgi Gerganov通用格式)的格式变得非常流行。在寻找本地运行的模型时,您会经常碰到以.gguf结尾的文件。
GGUF是早期格式GGML的后续版本。它被专门开发出来,旨在让大型模型在消费级硬件上运行变得可行。以下是它适合初学者和本地配置的原因:
llama.cpp库,都直接支持GGUF格式。这意味着您通常可以下载一个.gguf文件并轻松运行它。一个简化的视图,展示了在PyTorch或TensorFlow等框架中训练的模型,如何经常被转换成GGUF格式,以便与本地大型语言模型运行工具更方便地配合使用。
尽管GGUF在本地易于运行的模型中很普遍,但您偶尔可能会看到其他格式的提及:
.pt, .pth): 这些是使用PyTorch框架训练的模型原生的格式。运行它们通常需要安装PyTorch,并可能需要编写Python代码来加载和操作模型。SavedModel, .pb): 与PyTorch格式类似,这些是TensorFlow框架原生的格式,通常需要安装TensorFlow库。.safetensors): 这是一种新的格式,渐受关注,旨在安全高效地保存和加载模型权重。它常与PyTorch等框架一起使用,但比一些旧格式(如Python的pickle,.pth文件有时使用)更安全。尽管更安全,但它可能仍需要底层框架(如PyTorch)来运行模型逻辑。对于初学者,如果不想安装大型开发框架或编写代码,那么通常最直接的途径是专注于GGUF格式的模型。Ollama和LM Studio等工具简化了大部分复杂性,它们通常在后台依赖GGUF模型。随着您进一步的学习,您可能会接触其他格式,但GGUF为在个人电脑上运行大型语言模型提供了一个很好的起点。
这部分内容有帮助吗?
safetensors库的官方文档,提供了一种安全高效保存和加载模型权重的方法,是传统序列化方法的替代方案。© 2026 ApX Machine Learning用心打造