部署模型

您可以透過以下方式將運算模組部署到資源受限的 Edge 裝置：將已編譯模型從 Amazon S3 下載到您的裝置並使用 DLR，或者您可以使用 AWS IoT Greengrass。

在繼續之前，請確保您的邊緣設備必須受到 SageMaker Neo 的支持。請參閱支援的架構、裝置、系統和架構，深入了解受支援的 Edge 裝置。在提交編譯任務時，請確定您已指定目標 Edge 裝置，請參閱使用 Neo 編譯模型。

部署已編譯模型 (DLR)

DLR 是適用於深度學習模型和決策樹模型的常見緊湊執行時間。DLR 使用 TVM 執行時間、Treelite 執行時間、NVIDIA TensorRT™，且可以包含其他特定硬體的執行時間。DLR 提供統一的 Python/C++ API，適用於在各種裝置上載入和執行已編譯的模型。

您可以使用以下 pip 命令安裝最新發行版本的 DLR 套件：

pip install dlr

如需在 GPU 目標或非 x86 Edge 裝置上安裝 DLR，請參閱預先建置二進位的版本，或參閱安裝適用於從來源建置 DLR 的 DLR。例如，若要安裝適用於 Raspberry Pi 3 的 DLR，您可以使用：

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

部署模型 (AWS IoT Greengrass)

AWS IoT Greengrass 將雲功能擴展到本地設備。它讓裝置收集與分析更接近資訊來源的資料、自主回應本機裝置，在本機網路上安全地互相通訊。透過 AWS IoT Greengrass，您可以使用雲端訓練的模型，在本機產生的資料上在邊緣執行機器學習推論。目前，您可以將模型部署到基於 ARM Cortex-A，英特爾凌動和 Nvidia Jetson 系列處理器的所有 AWS IoT Greengrass 設備。如需部署 Lambda 推論應用程式以利用 AWS IoT Greengrass 執行機器學習推論的詳細資訊，請參閱如何使用管理主控台設定最佳化的機器學習推論。 AWS