非同期推論

アマゾン SageMaker 非同期推論は次の機能の 1 つです。 SageMaker リクエストリクエストをキューに配置し、非同期で処理します。このオプションは、ペイロードサイズが大きい (最大 1 GB)、処理時間が長い (最大 1 時間)、レイテンシーがほぼリアルタイムで要求されるリクエストに最適です。非同期推論では、処理するリクエストがない場合、インスタンスカウントをゼロにオートスケーリングすることによりコストを節約できるため、エンドポイントがリクエストを処理している場合にのみ料金が発生します。

仕組み

非同期推論エンドポイントの作成は、リアルタイムの推論エンドポイントの作成に似ています。既存のものを使用できます。 SageMaker モデルと与える必要がありますAsyncInferenceConfigを使用してエンドポイント設定を作成する際のオブジェクトEndpointConfig内のフィールドCreateEndpointConfigAPI。次の図は、非同期推論のアーキテクチャとワークフローを示しています。

エンドポイントを呼び出すには、リクエストペイロードを Amazon S3 に配置し、このペイロードへのポインタを Amazon S3 に配置する必要があります。InvokeEndpointAsyncリクエスト。呼び出し時に、 SageMaker リクエストを処理キューに配置し、識別子と出力位置を、応答として与える必要があります。処理中、 SageMaker 結果を Amazon S3 に配置します。成功またはエラー通知を Amazon SNS で受け取るようにオプションで選択することもできます。非同期通知の設定方法の詳細については、「予測結果のチェック」を参照してください。

注記

エンドポイント設定に非同期推論の設定 (AsyncInferenceConfig) オブジェクトが含まれているということは、エンドポイントで受け取ることができるのは非同期呼び出しのみということを意味します。

使用を開始する方法をお知りになりたいですか?

Amazon を初めて与えるには SageMaker 非同期推論では、次のことを行うことをお勧めします。

• 非同期エンドポイントを作成、呼び出し、更新、削除する方法の詳細については、「非同期エンドポイントの作成、呼び出し、更新」を参照してください。

• を探索する非同期推論サンプルノートブックのAWS/amazon-sagemaker-examples GitHub リポジトリ。

この Exclusions ページにリストされているいずれかの機能をエンドポイントで使用する場合は、非同期推論を使用できないことにご注意ください。