Canary トラフィックシフト

Canary トラフィックシフトにより、エンドポイントトラフィックの一部を新しいフリートでテストしながら、残りのトラフィックを古いフリートで処理できます。このテストステップは、すべてのトラフィックを新しいフリートにシフトする前に、新しいフリートの機能を検証する安全なガードレールです。Blue/Green デプロイの利点はそのままで、加わる Canary 機能により、新しい (緑の) フリートで 100% のトラフィックを処理する前に、推論を提供できるようになります。

トラフィックを受信するためにオンになる緑のフリートの部分は canary と呼ばれ、この canary のサイズを選択できます。canary のサイズは、新しいフリートの容量の 50% 以下になるように注意してください。ベーキング期間が終了し、事前に指定した Amazon CloudWatch アラームが作動しない場合、残りのトラフィックは古い (青の) フリートから緑のフリートにシフトします。Canary トラフィックシフトは、更新されたモデルに関する問題が canary にのみ影響するため、デプロイ時の安全性が向上します。

次の図は、Canary トラフィックシフトが青と緑のフリート間のトラフィックの分散を管理する方法を示しています。

が緑のフリートを SageMaker プロビジョニングすると、 は受信トラフィックの一部 (25% など) を Canary に SageMaker ルーティングします。その後、ベーキング期間が始まり、その間、 CloudWatch アラームは緑のフリートのパフォーマンスをモニタリングします。この間、青のフリートと緑のフリートの両方が部分的にアクティブになり、トラフィックを受信します。ベーキング期間中にいずれかのアラームが作動した場合、 はロールバック SageMaker を開始し、すべてのトラフィックが青のフリートに戻ります。いずれのアラームも作動しない場合は、すべてのトラフィックが緑のフリートにシフトし、最後のベーキング期間があります。アラームを作動せずに最後のベーキング期間が終了すると、緑のフリートはすべてのトラフィックを処理し、青のフリートを SageMaker 終了します。

前提条件

Canary トラフィックシフトを使用してデプロイを設定する前に、エンドポイントからのメトリクスをモニタリングする Amazon CloudWatch アラームを作成する必要があります。アラームはベーキング期間中アクティブになり、いずれかのアラームが作動した場合、すべてのエンドポイントトラフィックは青のフリートにロールバックされます。エンドポイントにアラームを設定する CloudWatch方法については、前提条件ページ「」を参照してください設定とモニタリングを自動ロールバックする。 CloudWatch アラームの詳細については、「Amazon ユーザーガイド」の「Amazon CloudWatch アラームの使用」を参照してください。 CloudWatch

Canary トラフィックシフトを設定する

デプロイの準備が整い、エンドポイントに Amazon CloudWatch アラームを設定したら、 で Amazon SageMaker UpdateEndpoint API または update-endpoint コマンドを使用してデプロイ AWS CLI を開始できます。

エンドポイントを更新する方法 (API)

次の UpdateEndpoint API の例は、Canary トラフィックシフトでエンドポイントを更新する方法を示しています。

import boto3
client = boto3.client("sagemaker")

response = client.update_endpoint(
    EndpointName="<your-endpoint-name>",
    EndpointConfigName="<your-config-name>",
    DeploymentConfig={
        "BlueGreenUpdatePolicy": {
            "TrafficRoutingConfiguration": {
                "Type": "CANARY",
                "CanarySize": {
                    "Type": "CAPACITY_PERCENT",
                    "Value": 30
                },
                "WaitIntervalInSeconds": 600
            },
            "TerminationWaitInSeconds": 600,
            "MaximumExecutionTimeoutInSeconds": 1800
        },
        "AutoRollbackConfiguration": {
            "Alarms": [
                {
                    "AlarmName": "<your-cw-alarm>"
                }
            ]
        }
    }
)

Canary トラフィックシフトオプションを設定するには、以下を実行します。

• EndpointName には、更新する既存のエンドポイントの名前を使用します。

• EndpointConfigName には、使用するエンドポイント設定の名前を使用します。

• DeploymentConfig と BlueGreenUpdatePolicy の下の TrafficRoutingConfiguration で、Type パラメータを CANARY に設定します。これは、デプロイが Canary トラフィックシフトを使うよう指定します。

• CanarySize フィールドでは、Type と Value パラメータを変更することで canary のサイズを変更できます。Type には、CAPACITY_PERCENT を使用します。これは、canary として使う緑のフリートの割合を意味し、30 には Value を設定します。この例では、緑のフリートの容量の 30% を canary として使用します。canary のサイズは、緑のフリートの容量の 50% 以下になるように注意してください。

• WaitIntervalInSeconds の場合は、600 を使用します。パラメータは、各間隔シフト間の指定された時間 (秒単位) を待つ SageMaker ように に指示します。この間隔は、canary ベーキング期間の長さです。前の例では、 は Canary シフト後 10 分間 SageMaker 待機し、2 番目と最後のトラフィックシフトを完了します。

• TerminationWaitInSeconds の場合は、600 を使用します。このパラメータは SageMaker 、緑のフリートが完全にアクティブになってから青のフリートのインスタンスを終了するまで、指定された時間 (秒単位) 待機するように に指示します。この例では、 は最後のベーキング期間から 10 分間 SageMaker 待ってから青のフリートを終了します。

• MaximumExecutionTimeoutInSeconds の場合は、1800 を使用します。このパラメータは、デプロイがタイムアウトするまでに実行できる最大時間を設定します。前の例では、デプロイが終了するまでの制限時間は 30 分です。

• ではAutoRollbackConfiguration、 Alarmsフィールド内でアラームを名前 CloudWatch で追加できます。使うアラームごとに 1 つの AlarmName: <your-cw-alarm> エントリを作成します。

既存の Blue/Green 更新ポリシーでエンドポイントを更新する方法 (API)

CreateEndpoint API を使用してエンドポイントを作成する場合、オプションでデプロイ設定を指定して、今後のエンドポイントの更新で再利用できます。前の UpdateEndpoint API の例と同じDeploymentConfigオプションを使用できます。 CreateEndpoint API の動作に変更はありません。デプロイ設定を指定しても、エンドポイントでの Blue/Green 更新が自動的に実行されるわけではありません。

以前のデプロイ設定を使用するオプションは、 UpdateEndpoint API を使用してエンドポイントを更新するときに発生します。エンドポイントを更新するときは、RetainDeploymentConfig オプションを使って、エンドポイントの作成時に指定したデプロイ設定を保持できます。

UpdateEndpoint API を呼び出すときは、 RetainDeploymentConfigを に設定Trueして、元のエンドポイント設定DeploymentConfigのオプションを保持します。

response = client.update_endpoint(
    EndpointName="<your-endpoint-name>",
    EndpointConfigName="<your-config-name>",
    RetainDeploymentConfig=True
)

エンドポイントを更新する方法 (CLI)

を使用している場合、次の例は AWS CLI、update-endpoint コマンドを使用して Blue/Green Canary デプロイを開始する方法を示しています。

update-endpoint
--endpoint-name <your-endpoint-name>
--endpoint-config-name <your-config-name> 
--deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "CANARY",
    "CanarySize": {"Type": "CAPACITY_PERCENT", "Value": 30}, "WaitIntervalInSeconds": 600},
    "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800},
    "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": "<your-alarm>"}]}'

Canary トラフィックシフトオプションを設定するには、以下を実行します。

• endpoint-name には、更新するエンドポイントの名前を使用します。

• endpoint-config-name には、使用するエンドポイント設定の名前を使用します。

• にはdeployment-config、BlueGreenUpdatePolicyJSON オブジェクトを使用します。

注記

JSON オブジェクトをファイルに保存する場合は、「 AWS CLI ユーザーガイド」の「スケルトンと入力パラメータの生成 AWS CLI」を参照してください。