趋近智
本地大型语言模型入门
章节 1: 大型语言模型入门
什么是大型语言模型（LLM）？
大语言模型如何运作的简单视图
理解标记与文本生成
为何在本地运行大型语言模型？
本地LLM与云端LLM
章节 2: 准备本地环境
硬件考量：中央处理器
硬件考量：内存
硬件考量：图形处理器和显存
检查您的系统规格
操作系统兼容性
安装 Python (可选但建议)
命令行/终端简介
章节 3: 查找和选择本地大型语言模型
寻找LLM模型：Hugging Face Hub
理解模型大小与参数
模型格式：GGUF及其他
量化：缩小模型
了解模型卡片中的信息
模型许可与使用限制
选择你的第一个模型
章节 4: 运行你的第一个本地LLM
本地LLM运行器介绍
设置 Ollama
用 Ollama 下载模型
使用 Ollama 运行模型 (命令行)
设置 LM Studio
在 LM Studio 中查找和下载模型
在LM Studio中加载模型并进行聊天
llama.cpp 简介 (核心思想)
动手实践：运行模型
章节 5: 简单交互与提示词使用
什么是提示？
你的第一个提示：简单问题
给出指令
理解上下文窗口
提示词排版基础建议
温度与创造力
常见交互方式
实践：简单的提示技巧
为何在本地运行大型语言模型？
这部分内容有帮助吗？
- Data Privacy in the Age of AI, Alex Kampmann, Kevin K. K. Lee, Yacine Goudiaby, Alex Pentland, 2021 IEEE Security & Privacy Magazine, Vol. 19 (IEEE) DOI: 10.1109/MSEC.2021.3082980 - 讨论了随着人工智能技术普及，数据隐私面临的挑战和影响，强调了本地数据处理对于敏感信息的价值。
- Transformers: State-of-the-Art Natural Language Processing, Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clément Delangue, Anthony Moi, Pierric Phillipe, Christophe Simon, Korbinian Stzimmer, Sylvain Gugger, 2020 Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (Association for Computational Linguistics) DOI: 10.18653/v1/2020.emnlp-demos.6 - 介绍了Hugging Face Transformers库，该库是本地访问、下载和运行各种开源大型语言模型的基础，支持自定义和实验。
- Accelerating Large Language Model Inference, NVIDIA Developer Documentation, 2024 (NVIDIA) - 提供了优化大型语言模型运行性能的见解，包括硬件和软件技术的讨论，这对于在消费级或专用硬件上进行高效本地推理很重要。