Journalisation et surveillance

Pour vous aider à déboguer vos tâches de compilation, vos tâches de traitement, vos tâches de formation, vos points de terminaison, vos tâches de transformation, vos instances de bloc-notes et vos configurations du cycle de vie des instances de bloc-notes, tout ce qu'un conteneur d'algorithmes, un conteneur de modèles ou une configuration du cycle de vie d'une instance de bloc-notes envoie à stdout ou stderr est également envoyé à Amazon Logs. CloudWatch Vous pouvez surveiller SageMaker AI Studio à l'aide d'Amazon CloudWatch, qui collecte les données brutes et les traite en indicateurs lisibles en temps quasi réel. Ces statistiques sont conservées pendant 15 mois, afin que vous puissiez accéder aux informations historiques et avoir une meilleure idée des performances de votre application ou service Web.

Se connecter avec CloudWatch

Le processus de science des données étant intrinsèquement expérimental et itératif, il est essentiel de consigner les activités telles que l'utilisation des ordinateurs portables, le temps d'exécution des tâches de formation/de traitement, les indicateurs de formation et les indicateurs de service aux terminaux tels que la latence d'invocation. Par défaut, SageMaker AI publie des métriques dans les CloudWatch journaux, et ces journaux peuvent être chiffrés à l'aide de clés gérées par le client à l'aide de. AWS KMS

Vous pouvez également utiliser des VPC terminaux pour envoyer des journaux CloudWatch sans utiliser l'Internet public. Vous pouvez également définir des alarmes qui surveillent certains seuils et envoient des notifications ou prennent des mesures lorsque ces seuils sont atteints. Pour plus d'informations, consultez le guide de CloudWatch l'utilisateur Amazon.

SageMaker AI crée un groupe de journaux unique pour Studio, sous/aws/sagemaker/studio. Chaque profil utilisateur et chaque application ont leur propre flux de journal dans ce groupe de journaux, et les scripts de configuration du cycle de vie ont également leur propre flux de journal. Par exemple, un profil utilisateur nommé « studio-user » associé à une application Jupyter Server associée à un script de cycle de vie, et à une application Data Science Kernel Gateway contient les flux de journaux suivants :

/aws/sagemaker/studio/<domain-id>/studio-user/JupyterServer/default

/aws/sagemaker/studio/<domain-id>/studio-user/JupyterServer/default/LifecycleConfigOnStart

/aws/sagemaker/studio/<domain-id>/studio-user/KernelGateway/datascience-app

Pour que l' SageMaker IA puisse envoyer CloudWatch des journaux en votre nom, l'appelant Training/Processing/Transform doit APIs disposer des autorisations suivantes :

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Action": [   
                 "logs:CreateLogDelivery",      
                 "logs:CreateLogGroup",
                 "logs:CreateLogStream",
                 "logs:DeleteLogDelivery",
                 "logs:Describe*",
                 "logs:GetLogEvents",
                 "logs:GetLogDelivery",
                 "logs:ListLogDeliveries",
                 "logs:PutLogEvents",
                 "logs:PutResourcePolicy",
                 "logs:UpdateLogDelivery"
             ],
             "Resource": "*",
             "Effect": "Allow"
         } 
     ]
 }

Pour chiffrer ces journaux avec une AWS KMS clé personnalisée, vous devez d'abord modifier la politique de clé afin de permettre au CloudWatch service de chiffrer et de déchiffrer la clé. Une fois que vous avez créé une AWS KMS clé de chiffrement du journal, modifiez la politique de clé pour inclure les éléments suivants :

{
    "Version": "2012-10-17",
    "Statement": [
        {           
            "Effect": "Allow",
            "Principal": {
                "Service": "logs.region.amazonaws.com"
            },
            "Action": [
                "kms:Encrypt*",
                "kms:Decrypt*",
                "kms:ReEncrypt*",
                "kms:GenerateDataKey*",
                "kms:Describe*"
            ],
            "Resource": "*",
            "Condition": {
                "ArnLike": {
                    "kms:EncryptionContext:aws:logs:arn": "arn:aws:logs:region:account-id:*"
                }
            }
        }    
    ]
}    

Notez que vous pouvez toujours utiliser ArnEquals et fournir un nom de ressource Amazon spécifique (ARN) pour le CloudWatch journal que vous souhaitez chiffrer. Nous montrons ici que vous pouvez utiliser cette clé pour chiffrer tous les journaux d'un compte pour plus de simplicité. En outre, les points de terminaison de formation, de traitement et de modélisation publient des métriques concernant l'utilisation de l'instance CPU et de la mémoire, la latence d'invocation de l'hébergement, etc. Vous pouvez également configurer Amazon SNS pour informer les administrateurs des événements lorsque certains seuils sont dépassés. Le consommateur participant à la formation et au traitement APIs doit disposer des autorisations suivantes :

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Action": [         
                 "cloudwatch:DeleteAlarms",
                 "cloudwatch:DescribeAlarms",
                 "cloudwatch:GetMetricData",
                 "cloudwatch:GetMetricStatistics",
                 "cloudwatch:ListMetrics",
                 "cloudwatch:PutMetricAlarm",
                 "cloudwatch:PutMetricData",
                 "sns:ListTopics"
             ],
             "Resource": "*",
             "Effect": "Allow",
             "Condition": {
                 "StringLike": {
                     "cloudwatch:namespace": "aws/sagemaker/*"
                 }
             }
             
         },
         {
             "Action": [
                 "sns:Subscribe",
                 "sns:CreateTopic"
             ],
             "Resource": [
                 "arn:aws:sns:*:*:*SageMaker*",
                 "arn:aws:sns:*:*:*Sagemaker*",
                 "arn:aws:sns:*:*:*sagemaker*"
             ],
             "Effect": "Allow"
         }
     ]
 }

Audit avec AWS CloudTrail

Pour améliorer votre niveau de conformité, effectuez un audit de toutes vos APIs activités avec AWS CloudTrail. Par défaut, toutes les SageMaker IA APIs sont connectées AWS CloudTrail. Vous n'avez pas besoin d'IAMautorisations supplémentaires pour l'activer CloudTrail.

Toutes les actions de l' SageMaker IA, à l'exception de InvokeEndpoint etInvokeEndpointAsync, sont enregistrées CloudTrail et documentées dans les opérations. Par exemple, les appels aux CreateTrainingJobCreateEndpoint, et CreateNotebookInstance les actions génèrent des entrées dans les fichiers CloudTrail journaux.

Chaque entrée d' CloudTrail événement contient des informations sur l'auteur de la demande. Les informations relatives à l’identité permettent de déterminer les éléments suivants :

• Si la demande a été effectuée avec les informations d'identification utilisateur racine ou AWS IAM.

• Si la demande a été effectuée avec les informations d’identification de sécurité temporaires d’un rôle ou d’un utilisateur fédéré.

• Si la demande a été faite par un autre AWS service. Pour un exemple d'événement, reportez-vous à la CloudTrail documentation Log SageMaker AI API Calls.

Par défaut, CloudTrail enregistre le nom du rôle d'exécution Studio du profil utilisateur comme identifiant pour chaque événement. Cela fonctionne si chaque utilisateur a son propre rôle d'exécution. Si plusieurs utilisateurs partagent le même rôle d'exécution, vous pouvez utiliser la sourceIdentity configuration pour propager le nom du profil utilisateur Studio à CloudTrail. Reportez-vous à la section Surveillance de l'accès aux ressources utilisateur depuis Amazon SageMaker AI Studio pour activer sourceIdentity cette fonctionnalité. Dans un espace partagé, toutes les actions font référence à l'espace ARN en tant que source, et vous ne pouvez pas effectuer d'auditsourceIdentity.