趋近智
写出好用的提示后,下一个实际步骤是管理它们的大小。大型语言模型没有无限的记忆;它们在一个固定大小的输入范围内工作,这个范围被称为“上下文窗口”。发送超出此限制的提示会导致错误,而低效地使用可用空间会增加延迟和运行成本。API费用与令牌数量直接相关,通常遵循以下模型:。
本章着重介绍管理这一基本限制的工具和方法。您将学习:
tokenizer 模块精确计算一段文本的令牌数量。本章结束后,您将能够控制您的应用程序的令牌使用,从而实现更可靠、更经济的性能。
3.1 上下文窗口的作用
3.2 使用分词器统计Token数量
3.3 文本截断的策略
3.4 复杂提示的令牌预算管理
© 2026 ApX Machine Learning用心打造