Attribuer aux tâches Amazon SageMaker Clarify l'accès aux ressources de votre Amazon VPC - Amazon SageMaker

Attribuer aux tâches Amazon SageMaker Clarify l'accès aux ressources de votre Amazon VPC

Pour contrôler l'accès à vos données et à vos tâches SageMaker Clarify, nous vous recommandons de créer un Amazon VPC privé et de le configurer afin que vos tâches ne soient pas accessibles sur l'Internet public. Pour obtenir des informations sur la création et la configuration d'un Amazon VPC pour les tâches de traitement, veuillez consulter Donner aux tâches de traitement SageMaker l'accès aux ressources de votre Amazon VPC.

Ce document explique comment ajouter des configurations Amazon VPC supplémentaires répondant aux conditions requises pour les tâches SageMaker Clarify.

Configurer une tâche SageMaker Clarify pour l'accès à Amazon VPC

Vous devez spécifier des sous-réseaux et des groupes de sécurité lors de la configuration de vos tâches privées Amazon VPC pour SageMaker Clarify et permettre à la tâche de tirer des inférences du modèle SageMaker lors du calcul des métriques de biais post-entraînement et des contributions de fonctions qui aident à expliquer les prédictions du modèle.

Sous-réseaux et groupes de sécurité Amazon VPC de tâche SageMaker Clarify

Les sous-réseaux et les groupes de sécurité de votre Amazon VPC privé peuvent être affectés à une tâche SageMaker Clarify de différentes manières, selon la manière dont vous créez la tâche.

  • Console SageMaker : fournissez ces informations lorsque vous créez la tâche dans le tableau de bord de SageMaker. De le menu Processing (Traitement), choisissez Processing jobs (Tâches de traitement), puis choisissez Create processing job (Créer une tâche de traitement). Sélectionnez l'option VPC dans le panneau Network (Réseau) et indiquez les sous-réseaux et les groupes de sécurité à l'aide des listes déroulantes. Assurez-vous que l'option d'isolement de réseau fournie dans ce panneau est désactivée.

  • API SageMaker : utilisez le paramètre de demande NetworkConfig.VpcConfig de l'API CreateProcessingJob, comme illustré dans l'exemple suivant :

    "NetworkConfig": { "VpcConfig": { "Subnets": [ "subnet-0123456789abcdef0", "subnet-0123456789abcdef1", "subnet-0123456789abcdef2" ], "SecurityGroupIds": [ "sg-0123456789abcdef0" ] } }
  • Kit SDK Python SageMaker : utilisez le paramètre NetworkConfig de l'API SageMakerClarifyProcessor ou l'API Processor, comme illustré dans l'exemple suivant :

    from sagemaker.network import NetworkConfig network_config = NetworkConfig( subnets=[ "subnet-0123456789abcdef0", "subnet-0123456789abcdef1", "subnet-0123456789abcdef2", ], security_group_ids=[ "sg-0123456789abcdef0", ], )

SageMaker utilise ces informations pour créer des interfaces réseau et les attacher à la tâche SageMaker Clarify. Les interfaces réseau fournissent une tâche SageMaker Clarify avec une connexion réseau au sein de votre Amazon VPC qui n'est pas connecté à l'Internet public. Elles permettent également à la tâche SageMaker Clarify de se connecter aux ressources de votre Amazon VPC privé.

Configuration d'un modèle Amazon VPC pour l'inférence

Afin de calculer les métriques de biais après l'entraînement et l'explicabilité, la tâche SageMaker Clarify doit obtenir des inférences à partir du modèle SageMaker spécifié par le paramètre model_name de la configuration de l'analyse pour la tâche de traitement SageMaker Clarify. De même, si vous utilisez l'API SageMakerClarifyProcessor dans le kit SDK Python SageMaker, la tâche doit obtenir le model_namespécifié par la classe ModelConfig. Pour ce faire, la tâche SageMaker Clarify crée un point de terminaison éphémère avec le modèle, appelé point de terminaison fantôme, puis applique la configuration Amazon VPC du modèle au point de terminaison fantôme.

Note

L'option d'isolement de réseau de la tâche SageMaker Clarify et du modèle doit être désactivée (par défaut, l'option est désactivée) afin que la tâche SageMaker Clarify puisse communiquer avec le point de terminaison fantôme.

Pour spécifier les sous-réseaux et les groupes de sécurité dans votre Amazon VPC privé sur le modèle SageMaker, utilisez le paramètre de demande VpcConfig de l'API CreateModel ou fournissez ces informations lorsque vous créez le modèle à l'aide du tableau de bord de SageMaker dans la console . Voici un exemple du paramètre VpcConfig que vous incluez dans votre appel à CreateModel :

"VpcConfig": { "Subnets": [ "subnet-0123456789abcdef0", "subnet-0123456789abcdef1", "subnet-0123456789abcdef2" ], "SecurityGroupIds": [ "sg-0123456789abcdef0" ] }

Vous pouvez spécifier le nombre d'instances du point de terminaison fantôme à lancer avec le paramètre initial_instance_count de la configuration de l'analyse pour la tâche de traitement SageMaker Clarify. De même, si vous utilisez l'API SageMakerClarifyProcessor dans le kit SDK Python SageMaker, la tâche doit obtenir le instance_countspécifié par la classe ModelConfig.

Note

Même si vous ne demandez qu'une seule instance lors de la création du point de terminaison fantôme, vous avez besoin d'au moins deux sous-réseaux dans la configuration ModelConfig du modèle dans des zones de disponibilité distinctes. Sinon, la création du point de terminaison fantôme échoue avec l'erreur suivante :

ClientError : erreur lors de l'hébergement du point de terminaison sagemaker-clarify-endpoint-XXX : Échec. Raison : impossible de localiser au moins 2 zones de disponibilité avec le type d'instance demandé YYY qui chevauchent les sous-réseaux SageMaker.

Si votre modèle nécessite des fichiers de modèle dans Amazon S3, le modèle Amazon VPC doit disposer d'un point de terminaison Amazon S3 VPC. Pour plus d'informations sur la création et la configuration d'un Amazon VPC pour les modèles SageMaker, veuillez consulter Attribuer aux point de terminaison hébergés SageMaker l'accès aux ressources de votre Amazon VPC.

Configurer votre Amazon VPC privé pour les tâches SageMaker Clarify

En général, vous pouvez suivre les étapes de Configuration de votre VPC privé pour traitement SageMaker pour configurer votre Amazon VPC privé pour les tâches SageMaker Clarify. Voici quelques éléments principaux et exigences spéciales pour les tâches SageMaker Clarify.

Connexion à des ressources en dehors de votre Amazon VPC

Si vous configurez votre Amazon VPC de manière à ce qu'il ne dispose pas d'un accès Internet public, une configuration supplémentaire est nécessaire pour accorder aux tâches SageMaker Clarify l'accès aux ressources et aux services en dehors de votre Amazon VPC. Par exemple, un point de terminaison d'un VPC Amazon S3 est requis, car une tâche SageMaker Clarify doit charger un jeu de données à partir d'un compartiment S3 et enregistrer les résultats de l'analyse dans un compartiment S3. Pour de plus amples informations, veuillez consulter Créer un point de terminaison VPC Amazon S3 pour le guide de création. En outre, si une tâche SageMaker Clarify doit obtenir des inférences à partir du point de terminaison fantôme, il doit appeler plusieurs autres services AWS.

  • Créer un point de terminaison d'un VPC du service d'API Amazon SageMaker : la tâche SageMaker Clarify doit appeler le service d'API Amazon SageMaker pour manipuler le point de terminaison fantôme ou pour décrire un modèle SageMaker pour la validation Amazon VPC. Vous pouvez suivre les instructions fournies dans le blog Securing all Amazon SageMaker API calls with AWS PrivateLink pour créer un point de terminaison d'un VPC API Amazon SageMaker qui permet à la tâche SageMaker Clarify d'effectuer les appels de service. Notez que le nom de service du service API Amazon SageMaker est com.amazonaws.region.sagemaker.api, où region est le nom de la région où réside votre VPC Amazon.

  • Création d'un point de terminaison d'un VPC Amazon SageMaker Runtime : la tâche SageMaker Clarify doit appeler le service d'exécution Amazon SageMaker, qui achemine les appels vers le point de terminaison fantôme. Les étapes de configuration sont similaires à celles du service API Amazon SageMaker. Notez que le nom de service du service Amazon SageMaker Runtime est com.amazonaws.region.sagemaker.runtime, où region est le nom de la région où réside votre VPC Amazon.

Configurer le groupe de sécurité Amazon VPC

Les tâches SageMaker Clarify prennent en charge le traitement distribué lorsque deux instances de traitement ou plus sont spécifiées de l'une des manières suivantes :

  • Console SageMaker : le nombre d'instances est spécifié dans la partie Resource configuration (Configuration des ressources) du panneau Job settings (Paramètres de tâche) sur la page Créer une tâche de traitement.

  • API SageMaker : le InstanceCount est spécifié lorsque vous créez la tâche avec l'API CreateProcessingJob.

  • Kit SDK Python SageMaker : le instance_count est spécifié lors de l'utilisation de l'API SageMakerClarifyProcessor ou l'API Processor.

Dans un traitement distribué, vous devez autoriser la communication entre les différentes instances d'une même tâche de traitement. Pour ce faire, configurez une règle pour votre groupe de sécurité qui autorise les connexions entrantes entre les membres du même groupe de sécurité. Pour obtenir des informations, veuillez consulter Règles des groupes de sécurité.