Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Déplacement du trafic Canary
Avec le déplacement de trafic Canary, vous pouvez tester une partie de votre trafic de point de terminaison sur la nouvelle flotte tandis que l'ancienne flotte dessert le reste du trafic. Cette étape de test est une barrière de protection de sécurité qui vérifie le bon fonctionnement de la nouvelle flotte avant de déplacer tout votre trafic vers la nouvelle flotte. Vous bénéficiez toujours des avantages d'un déploiement bleu/vert, et la fonction Canary ajoutée vous permet de vous assurer que votre nouvelle flotte (verte) peut servir l'inférence avant de la laisser gérer l'intégralité du trafic.
La partie de votre flotte verte qui s'allume pour recevoir du trafic s'appelle le Canary, et vous pouvez choisir la taille de ce Canary. Notez que la taille des Canary doit être inférieure ou égale à 50 % de la capacité de la nouvelle flotte. Une fois la période de préparation terminée et si aucune alarme Amazon CloudWatch prédéfinie ne se déclenche, le reste du trafic est déplacé de l'ancienne flotte (bleue) à la flotte verte. Le déplacement de trafic Canary vous offre plus de sécurité pendant votre déploiement, car tout problème avec le modèle mis à jour n'affecte que le Canary.
Le diagramme suivant montre comment le déplacement de trafic Canary gère la répartition du trafic entre les flottes bleue et verte.
Une fois que SageMaker a approvisionné la flotte verte, SageMaker achemine une partie du trafic entrant (par exemple, 25 %) vers le Canary. Puis commence la période de préparation, pendant laquelle vos alarmes CloudWatch surveillent les performances de la flotte verte. Pendant ce temps, la flotte bleue et la flotte verte sont partiellement actives et reçoivent du trafic. Si l'une des alarmes se déclenche pendant la période de préparation, SageMaker lance une annulation et tout le trafic retourne à la flotte bleue. Si aucune des alarmes ne se déclenche, alors tout le trafic se déplace vers la flotte verte et s'ensuit une période de préparation finale. Si la période de préparation finale se termine sans déclencher aucune alarme, alors la flotte verte transmet tout le trafic et SageMaker résilie la flotte bleue.
Prérequis
Avant de configurer un déploiement avec un déplacement de trafic Canary, vous devez créer des alarmes Amazon CloudWatch pour contrôler les métriques à partir de votre point de terminaison. Les alarmes sont actives pendant la période de préparation, et si une alarme se déclenche, tout le trafic du point de terminaison est restaurée vers la flotte bleue. Pour savoir comment configurer des alarmes CloudWatch sur un point de terminaison, veuillez consulter la page des prérequis Configuration et surveillance de la restauration automatique. Pour en savoir plus sur les alarmes CloudWatch, veuillez consulter Utilisation des alarmes Amazon CloudWatch dans le Guide de l'utilisateur Amazon CloudWatch.
Configurer le changement de trafic Canary
Une fois que vous êtes prêt pour votre déploiement et que vous avez configuré les alarmes Amazon CloudWatch pour votre point de terminaison, vous pouvez utiliser l'API Amazon SageMaker UpdateEndpoint ou la commande update-endpoint dans l'AWS CLI pour lancer le déploiement.
Rubriques
Comment mettre à jour un point de terminaison (API)
L'exemple suivant de l'API UpdateEndpoint montre comment vous pouvez mettre à jour un point de terminaison avec un déplacement de trafic Canary.
import boto3 client = boto3.client("sagemaker") response = client.update_endpoint( EndpointName="
<your-endpoint-name>
", EndpointConfigName="<your-config-name>
", DeploymentConfig={ "BlueGreenUpdatePolicy": { "TrafficRoutingConfiguration": { "Type": "CANARY", "CanarySize": { "Type": "CAPACITY_PERCENT", "Value": 30 }, "WaitIntervalInSeconds": 600 }, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800 }, "AutoRollbackConfiguration": { "Alarms": [ { "AlarmName": "<your-cw-alarm>
" } ] } } )
Pour configurer l'option de déplacement de trafic Canary, procédez comme suit :
Pour
EndpointName
, utilisez le nom du point de terminaison existant que vous souhaitez mettre à jour.Pour
EndpointConfigName
, utilisez le nom de la configuration de point de terminaison que vous souhaitez utiliser.Sous
DeploymentConfig
etBlueGreenUpdatePolicy
, dansTrafficRoutingConfiguration
, définissez le paramètreType
surCANARY
. Cela permet de spécifier que le déploiement utilise le déplacement de trafic Canary.Dans le champ
CanarySize
, vous pouvez changer la taille du Canary en modifiant les paramètresType
etValue
. PourType
, utilisezCAPACITY_PERCENT
, c'est-à-dire le pourcentage de votre flotte verte que vous souhaitez utiliser comme Canary, puis définissezValue
sur30
. Dans cet exemple, vous utilisez 30 % de la capacité de la flotte verte en tant que Canary. Notez que la taille des Canary doit être égale ou inférieure à 50 % de la capacité de la flotte verte.Pour
WaitIntervalInSeconds
, utilisez600
. Le paramètre indique à SageMaker d'attendre la durée spécifiée (en secondes) entre chaque déplacement d'intervalle. Cet intervalle est la durée de la période de préparation des Canary. Dans l'exemple précédent, SageMaker attend 10 minutes après le déplacement Canary, puis termine le deuxième et dernier déplacement de trafic.Pour
TerminationWaitInSeconds
, utilisez600
. Ce paramètre indique à SageMaker d'attendre le laps de temps spécifié (en secondes) une fois que votre flotte verte est entièrement active avant de résilier les instances de la flotte bleue. Dans cet exemple, SageMaker attend 10 minutes après la dernière période de préparation avant de résilier la flotte bleue.Pour
MaximumExecutionTimeoutInSeconds
, utilisez1800
. Ce paramètre définit la durée maximale pendant laquelle le déploiement peut s'exécuter avant qu'il n'expire. Dans l'exemple précédent, votre déploiement doit être exécuté en moins de 30 minutes.Dans
AutoRollbackConfiguration
, dans le champAlarms
, vous pouvez ajouter vos alarmes CloudWatch par nom. Créez unAlarmName:
pour chaque alarme que vous souhaitez utiliser.<your-cw-alarm>
Comment mettre à jour un point de terminaison avec une politique de mise à jour bleue/verte (API) existante
Lorsque vous utilisez l'API CreateEndpoint pour créer un point de terminaison, vous pouvez éventuellement spécifier une configuration de déploiement à réutiliser pour les futures mises à jour du point de terminaison. Vous pouvez utiliser les mêmes options DeploymentConfig
que l'exemple d'API UpdateEndpoint précédent. Il n'y a aucun changement dans le comportement de l'API CreateEndpoint. La spécification de la configuration de déploiement n'effectue pas automatiquement une mise à jour bleu/vert sur votre point de terminaison.
La possibilité d'utiliser une configuration de déploiement précédente se produit lorsque vous utilisez l'API UpdateEndpoint pour mettre à jour votre point de terminaison. Lors de la mise à jour de votre point de terminaison, vous pouvez utiliser l'option RetainDeploymentConfig
pour conserver la configuration de déploiement que vous avez spécifiée lors de la création du point de terminaison.
Lorsque vous appelez l'API UpdateEndpoint, définissez RetainDeploymentConfig
sur True
pour conserver les options DeploymentConfig
de votre configuration de point de terminaison d'origine.
response = client.update_endpoint( EndpointName="
<your-endpoint-name>
", EndpointConfigName="<your-config-name>
", RetainDeploymentConfig=True )
Comment mettre à jour un point de terminaison (CLI)
Si vous utilisez la AWS CLI, l'exemple suivant montre comment démarrer un déploiement Canary bleu/vert à l'aide de la commande update-endpoint.
update-endpoint --endpoint-name
<your-endpoint-name>
--endpoint-config-name<your-config-name>
--deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "CANARY", "CanarySize": {"Type": "CAPACITY_PERCENT", "Value": 30}, "WaitIntervalInSeconds": 600}, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800}, "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": "<your-alarm>
"}]}'
Pour configurer l'option de déplacement de trafic Canary, procédez comme suit :
Pour
endpoint-name
, utilisez le nom du point de terminaison que vous souhaitez mettre à jour.Pour
endpoint-config-name
, utilisez le nom de la configuration de point de terminaison que vous souhaitez utiliser.Pour
deployment-config
, utilisez un objet JSON BlueGreenUpdatePolicy.
Note
Si vous préférez enregistrer votre objet JSON dans un fichier, veuillez consulter Générer un squelette AWS CLI et des paramètres d'entrée dans le Guide de l'utilisateur AWS CLI.