常见交互方式

既然你已经了解了什么是提示，如何提问、给出指令，以及上下文窗口和温度的作用，让我们来看看在与本地大语言模型交互时，这些元素是如何结合在一起的一些常见方法。这些交互方式是你有效使用模型的基础要素。

问答 (Q&A)

这可能是与大语言模型交互最直接的方式。你提出问题，模型根据其训练时使用的海量文本数据提供回答。

示例：

• 事实回忆：

  What is the main purpose of the GGUF model format?
  

  大语言模型可能会解释，GGUF旨在高效加载和运行模型，特别是在消费级硬件（CPU和GPU）上，通常会结合量化技术。

• 解释说明：

  Explain what 'model parameters' mean in the context of LLMs, like in "a 7B parameter model". Keep it simple.
  

  模型可能会解释说，参数就像模型在训练过程中学到的内部“旋钮”或变量，更多的参数通常意味着模型更大，可能更具能力（但也会占用更多资源）。

上下文窗口允许大语言模型使用对话的先前轮次（直到其上下文限制）来理解后续问题。例如，在提出一个问题后，你可以接着问：

How does that compare to the older GGML format?

模型应该明白“那个”指的是GGUF。

文本补全与生成

大语言模型的基本工作原理是预测下一个词元（单词或单词的一部分）。你可以直接提供句子、段落、列表甚至故事的开头，让模型继续生成。

示例：

• 启发思路：

  To optimize an LLM for local use, one common technique is
  

  模型可能会补全为“……量化，这会减少模型的体积和计算需求。”

• 生成列表：

  List four hardware components important for running local LLMs:
  1.
  

  模型很可能会继续列出 CPU、RAM、GPU（如果可用）和存储空间等项目。

• 创意写作：

  The command line flickered. The model finished downloading. He typed 'ollama run llama3' and hit Enter. Suddenly,
  

  大语言模型会根据这个开头生成故事的下一部分。

摘要总结

通常，你可能有一大段文本，需要将其浓缩成要点。这是一种常见的基于指令的任务。

提示结构示例：

Summarize the following article about local LLM privacy benefits into two sentences:

[Insert article text here about data staying on the user's machine, not being sent to third-party servers, etc.]

模型会尝试提取所提供文本的要旨。请注意，大语言模型的上下文窗口限制了它一次可以处理的文本量。对于非常长的文档，你可能需要分块进行总结。

改述与重写

有时你需要用不同的方式表达一个想法。你可以指示大语言模型改写文本，以使其更清晰、更简洁或拥有不同的语气。

示例：

• 简化：

  Rewrite this sentence in simpler terms: "GPU acceleration significantly mitigates the latency inherent in LLM inference."
  

  模型可能会回答：“使用好的显卡能让大语言模型响应速度快很多。”

• 改变语气：

  Rewrite the following user review in a more professional tone:
  
  "Dude, setting up Ollama was super easy! Got Llama 3 running in like 5 mins. Way better than messing with cloud APIs lol."
  

  模型可能会生成如下内容：“Ollama的设置过程非常直接，使得Llama 3模型在大约五分钟内即可运行。这为基于云的API解决方案提供了一个便利的替代方案。”

头脑风暴与想法生成

你可以使用本地大语言模型作为头脑风暴的伙伴，生成想法，提出替代方案，或思考各种可能性。

示例：

• 项目想法：

  Suggest three simple project ideas that could use a local LLM for text processing.
  

  模型可能会给出一些想法，例如用于笔记的本地聊天机器人、离线总结网页文章的工具，或者一个简单的命令行助手。

• 内容创作：

  Give me five potential titles for a tutorial about choosing the right local LLM model.
  

调整温度设置（如果你的工具支持）可以影响头脑风暴。较高的温度（$T > 1.0$）通常会带来更多样和出乎意料的建议，而较低的温度（$T < 1.0$）则会产生更集中和可预测的想法。

简单代码片段（谨慎使用）

许多大语言模型都经过代码训练，能够生成各种编程语言的简单片段。这对于快速示例或样板代码很有用。

示例：

Write a basic Python function that takes a person's name as input and returns a greeting message.

模型可能会输出：

def greet(name):
  """返回一个简单的问候消息。"""
  return f"Hello, {name}!"

# 使用示例：
print(greet("Alice"))

重要提示： 务必谨慎对待大语言模型生成的代码。特别是作为初学者，在依赖任何代码片段之前，都应仔细检查、理解并测试它。大语言模型可能会犯错，生成效率低下的代码，甚至包含安全漏洞的代码。将其视为一个有用的起点，而非一个万无一失的解决方案。

这些方式代表了与本地大语言模型交互的常见起点。随着经验的增长，你会找到如何结合和改进这些技巧来完成更复杂的任务。关键在于通过结构清晰的提示进行有效沟通。