趋近智
训练 TensorFlow 模型是一个重要进展,但工作并未就此结束。为了创造价值,模型必须高效可靠地投入运行。本章讲解了将模型从开发环境迁移到生产系统或边缘设备的重要阶段。
您将学习使用 SavedModel 格式打包 TensorFlow 模型进行部署的标准方法。我们将研究 TensorFlow Serving,它是一个专为高性能模型服务而设计的方案,包括如何使用常用协议与已部署的模型进行交互。此外,我们还将介绍优化策略,例如量化 (quantization),这些策略旨在减小模型大小并提高推理 (inference)速度。最后,我们介绍了 TensorFlow Lite,用于转换和准备模型,以便在移动、嵌入 (embedding)式以及其他资源受限的环境中部署。重点在于使您训练的模型能够被实际使用并高效运行所需的具体步骤。
6.1 保存和加载高级模型格式
6.2 TensorFlow Serving 简介
6.3 使用 REST 和 gRPC 部署 TensorFlow Serving 模型
6.4 模型优化方法
6.5 TensorFlow Lite (TF Lite) 简介
6.6 为 TF Lite 转换模型
6.7 优化设备端推理
6.8 动手实践:使用 TF Serving 部署模型