在上一章中准备好系统后,你现在需要一个模型来运行。本章侧重于了解专为本地使用设计的大型语言模型的各种选项。你将学习在哪里可以找到模型,主要关注Hugging Face Hub等资源。我们将检查影响你选择的重要因素,包括模型大小(通常用参数表示,例如$7B$或$13B$)、为本地推理优化的GGUF等文件格式,以及用于减少资源需求的量化方法。此外,理解模型卡和软件许可证对于恰当的选择和使用必不可少。目标是为你提供所需条件,以选择一个与你的硬件能力和目标相符的合适初始模型。