趋近智
要运行本地大型语言模型,首要步骤是获取模型文件。可以把LLM看作是生成文本的“引擎”;没有它,我们稍后讨论的工具就无法运行。但是,去哪里找到这些“引擎”呢?幸运的是,机器学习社区有广泛的合作,并且线上有一些集中的地方供大家分享模型。
寻找AI模型,包括适合本地使用的LLM,最主要、使用最广的平台就是Hugging Face Hub。
可以想象一个庞大的数字图书馆,或者一个满是工具和部件的工坊,但专门用于人工智能。这与Hugging Face提供的很像。它是一个集中的交流点,供研究人员、开发者和机构共享和找到AI模型、数据集及相关软件工具。虽然它有多种类型的AI资源,但它已经成为寻找大型语言模型的主要场所。
Hugging Face Hub(通常简称“Hugging Face”)是一个可通过网页浏览器访问的在线平台。它的主要功能是托管:
transformers、diffusers)。对我们本地运行LLM的目的而言,我们主要关注Hub的模型部分。这一部分包含了个人、研究团队以及Meta、Google、Mistral AI等公司贡献的数千个模型。
当你访问Hugging Face网站 (huggingface.co) 时,你会看到一个搜索栏和浏览模型的选项。通常可以这样寻找LLM:
例如,搜索“Mistral 7B GGUF”可能会显示流行模型Mistral 7B的不同版本,它们以GGUF格式打包,这种格式常用于在消费级硬件上高效运行模型。
当你点击Hub上的一个模型时,会进入它的专属页面,通常被称为“模型卡片”。这个页面就像模型的使用手册或规格表。它通常包括:
.gguf 这样的文件。可以把Hugging Face Hub看作你浏览和找到你可能想在本地运行的LLM的主要起点。它的集中管理特性使得寻找模型比搜索分散的网站要容易得多。在接下来的部分,我们将讨论你在查看Hub上的模型时应注意的特点,例如它们的大小、格式和许可,以帮助你选择一个适合你的需求和硬件的模型。
这部分内容有帮助吗?
llama.cpp的官方存储库,它实现了GGUF格式,用于LLM的高效本地推理。这有助于理解内容中提到的“GGUF”格式。© 2026 ApX Machine Learning用心打造