SageMaker Edge Manager を使用してエッジにモデルをデプロイする - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker Edge Manager を使用してエッジにモデルをデプロイする

警告

SageMaker Edge Manager は 2024 年 4 月 26 日に廃止されます。引き続きモデルをエッジデバイスにデプロイする方法の詳細については、「SageMaker Edge Manager のサポート終了」を参照してください。

Amazon SageMaker Edge Manager はエッジデバイスのモデル管理を提供するため、スマートカメラ、ロボット、パーソナルコンピュータ、モバイルデバイスなどのエッジデバイスのフリートで機械学習モデルを最適化、保護、モニタリング、維持できます。

Edge Manager を使用する理由

多くの機械学習ユースケースでは、エッジデバイスのフリートで機械学習モデルを実行する必要があります。これにより、リアルタイムでの予測の取得、エンドユーザーのプライバシーの保護、ネットワーク接続コストの削減が実現できます。機械学習向けの、低消費電力のエッジハードウェアの可用性が高まるにつれて、エッジデバイス上で複数の複雑なニューラルネットワークモデルを実行できるようになりました。

しかし、エッジデバイスで機械学習モデルを稼働させることは困難です。クラウドインスタンスとは異なり、コンピューティング性能、メモリ、および接続性が制限されるためです。モデルのデプロイ後は、モデルのドリフトによってモデルの品質が経時的に低下する可能性があるため、モデルを継続的にモニタリングする必要があります。デバイスからデータサンプルを収集し、予測内のスキューを認識するカスタムコードを記述する必要があるため、デバイスフリート全体でモデルをモニタリングすることは困難です。さらに、多くのモデルはアプリケーションにハードコーディングされています。モデルを更新するには、アプリケーションまたはデバイスのファームウェア全体を再構築して更新する必要があります。これにより、稼働が中断される可能性があります。

SageMaker Edge Manager を使用すると、エッジにあるデバイスのフリート全体で機械学習モデルを最適化、実行、モニタリング、更新できます。

動作の仕組み

大まかに言うと、 SageMaker Edge Manager ワークフローには SageMaker 、Neo でモデルをコンパイルする、Neo でコンパイルされたモデルをパッケージ化する、デバイスにモデルをデプロイする、 SageMaker 推論エンジンでモデルを実行する (Edge Manager エージェント)、デバイスでモデルを維持するという 5 つの主要コンポーネントがあります。

SageMaker Edge Manager は SageMaker Neo を使用して、ワンクリックでターゲットハードウェアのモデルを最適化し、デプロイ前にモデルに暗号で署名します。 SageMaker Edge Manager を使用すると、エッジデバイスからモデルの入力および出力データをサンプリングし、それをクラウドに送信してモニタリングと分析を行うことができます。また、 SageMaker コンソール内でデプロイされたモデルのオペレーションを追跡して視覚的にレポートするダッシュボードを表示できます。

SageMaker Edge Manager は、以前はクラウドでのみ利用可能だった機能をエッジに拡張するため、デベロッパーは Amazon SageMaker Model Monitor を使用してドリフト検出を行い、データを SageMaker Ground Truth でラベル変更して、 でモデルを再トレーニングすることで、モデルの品質を継続的に改善できます SageMaker。

SageMaker Edge Manager の使用方法

SageMaker Edge Manager を初めて使用する場合は、以下を実行することをお勧めします。

  1. ご利用開始にあたって」セクションを読む - このセクションでは、最初にエッジパッケージ化ジョブを設定し、最初のフリートを作成する方法を紹介します。

  2. Edge Manager Jupyter Notebook の例を調べる - サンプルノートブックは sagemaker_edge_manager フォルダのamazon-sagemaker-examples GitHub リポジトリに保存されます。