趋近智
LM Studio 提供内置图形界面,可以直接查找和下载模型,省去手动查找和管理模型文件的麻烦。通过 LM Studio 可获取的大多数模型来自 Hugging Face Hub,这是一个广受欢迎的机器学习模型共享平台。
打开 LM Studio 后,找到查找或模型浏览部分。这通常由放大镜图标表示,或标记为“查找”或“发现”之类的字样,在应用程序的主导航区域,通常位于左侧边栏。点击此处会进入模型浏览界面。
你会看到模型浏览页面顶部有一个醒目的查找栏。你可以输入感兴趣的模型名称(例如,“Mistral”、“Llama 3”、“Phi-3”)或与其功能相关的关键词。当你输入时,LM Studio 通常会推荐 Hugging Face 上可用的匹配模型。
结果通常以模型列表的形式呈现。每个条目通常显示:
组织/模型名称 的格式(例如,microsoft/Phi-3-mini-4k-instruct-gguf)。当你从查找结果中选择一个模型时,LM Studio 通常会显示详细信息和可用的下载选项,通常在屏幕右侧的面板中。此处一个重要特点是列出了多个模型文件,通常是 .gguf 格式。
你可能会在同一个模型名称下看到多个文件,例如:
phi-3-mini-4k-instruct-q4_k_m.ggufphi-3-mini-4k-instruct-q5_k_m.ggufphi-3-mini-4k-instruct-q8_0.ggufphi-3-mini-4k-instruct-f16.gguf这些不同的文件代表了同一基础模型的各种量化级别。正如第 3 章所述,量化是一个减少模型大小和计算需求的过程,使其可以在消费级硬件上运行。
Q4_K_M、Q5_K_M、Q8_0 等术语表示具体的量化方法和级别。数字越小(如 Q2、Q3、Q4)通常意味着文件尺寸更小,RAM 使用量更低,但可能会轻微降低响应质量或准确性。数字越大(Q5、Q6、Q8)或未量化版本(F16 代表 16 位浮点数)能保留更多质量,但需要更多资源。Q4_K_M 或 Q5_K_M 这样的均衡量化级别是个不错的选择。它们在性能、资源使用和输出质量之间提供了合理的平衡。如果 LM Studio 中有推荐或默认建议,请查看它们。在开始下载之前,请注意每个具体 .gguf 文件提供的详情:
一旦您确认了要下载的特定 .gguf 文件(根据量化、大小和内存需求),请在其列表中查找“下载”按钮。
点击此按钮将开始下载过程。LM Studio 通常会在应用程序内显示下载进度,通常以百分比或进度条的形式。您通常可以在专用部分或面板中查看进行中的下载。
模型文件成功下载后,它将在 LM Studio 中可用,可以加载到聊天界面。已下载的模型通常列在应用程序的特定区域,可能标记为“我的模型”、“本地模型”或类似名称。您将在下一步中使用此下载的模型开始与您的第一个本地 LLM 进行交互。
这部分内容有帮助吗?
© 2026 ApX Machine Learning用心打造