趋近智
本地大型语言模型入门
章节 1: 大型语言模型入门
什么是大型语言模型（LLM）？
大语言模型如何运作的简单视图
理解标记与文本生成
为何在本地运行大型语言模型？
本地LLM与云端LLM
章节 2: 准备本地环境
硬件考量：中央处理器
硬件考量：内存
硬件考量：图形处理器和显存
检查您的系统规格
操作系统兼容性
安装 Python (可选但建议)
命令行/终端简介
章节 3: 查找和选择本地大型语言模型
寻找LLM模型：Hugging Face Hub
理解模型大小与参数
模型格式：GGUF及其他
量化：缩小模型
了解模型卡片中的信息
模型许可与使用限制
选择你的第一个模型
章节 4: 运行你的第一个本地LLM
本地LLM运行器介绍
设置 Ollama
用 Ollama 下载模型
使用 Ollama 运行模型 (命令行)
设置 LM Studio
在 LM Studio 中查找和下载模型
在LM Studio中加载模型并进行聊天
llama.cpp 简介 (核心思想)
动手实践：运行模型
章节 5: 简单交互与提示词使用
什么是提示？
你的第一个提示：简单问题
给出指令
理解上下文窗口
提示词排版基础建议
温度与创造力
常见交互方式
实践：简单的提示技巧
本地LLM与云端LLM
这部分内容有帮助吗？
- A Survey of Large Language Models, Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu, Peiyu Liu, Jian-Yun Nie, Ji-Rong Wen, 2023 arXiv preprint arXiv:2303.18223 DOI: 10.48550/arXiv.2303.18223 - 一篇广泛的学术综述，讨论了LLM的现状，包括其能力、架构、应用和操作挑战，这为部署决策提供了背景信息。
- Generative AI with Transformers: Build your own Large Language Model (LLM), Ben Auffarth, 2023 (Packt Publishing) - 一本实践指南，介绍了LLM的原理，并提供了构建和部署LLM的指导，包括针对本地与云端不同环境的考量。
- OpenAI API Reference, OpenAI, 2024 (OpenAI) - 与云端LLM交互的官方文档，展示了本节讨论的API驱动的访问模型和核心功能。
- 🤗 Transformers Documentation, Hugging Face, 2024 (Hugging Face) - 运行和试验本地开源LLM的主要资源，提供了模型加载、推理和硬件兼容性的信息。