Registro y supervisión

Para ayudarle a depurar los trabajos de compilación, los trabajos de procesamiento, los trabajos de formación, los puntos finales, los trabajos de transformación, las instancias de cuadernos y las configuraciones del ciclo de vida de las instancias de cuadernos, todo lo que un contenedor de algoritmos, un contenedor de modelos o una configuración del ciclo de vida de una instancia de cuaderno envíe a stdout o stderr también se envía a Amazon Logs. CloudWatch Puedes monitorizar SageMaker AI Studio con Amazon CloudWatch, que recopila datos sin procesar y los procesa para convertirlos en métricas legibles prácticamente en tiempo real. Estas estadísticas se mantienen durante 15 meses, para que pueda obtener acceso a información histórica y disponer de una mejor perspectiva sobre el desempeño de su aplicación web o servicio.

Iniciar sesión con CloudWatch

Como el proceso de ciencia de datos es intrínsecamente experimental e iterativo, es esencial registrar la actividad como el uso del cuaderno, el tiempo de ejecución de las tareas de entrenamiento/procesamiento, las métricas de entrenamiento y las métricas de servicio de puntos de conexión como, por ejemplo, la latencia de invocación. De forma predeterminada, la SageMaker IA publica las métricas en CloudWatch los registros, y estos registros se pueden cifrar con claves administradas por el cliente mediante. AWS KMS

También puedes usar VPC puntos de conexión a los que enviar registros CloudWatch sin necesidad de utilizar la Internet pública. También puede establecer alarmas que vigilen determinados umbrales y enviar notificaciones o realizar acciones cuando se cumplan dichos umbrales. Para obtener más información, consulta la Guía del CloudWatch usuario de Amazon.

SageMaker AI crea un único grupo de registros para Studio, en/aws/sagemaker/studio. Cada perfil de usuario y cada aplicación tiene su propio flujo de registro en este grupo de registro, y los scripts de configuración del ciclo de vida también tienen su propio flujo de registro. Por ejemplo, un perfil de usuario denominado “studio-user” con una aplicación de servidor de Jupyter y con un script de ciclo de vida asociado, y una aplicación de puerta de enlace del kernel de Ciencia de datos tiene los siguientes flujos de registro:

/aws/sagemaker/studio/<domain-id>/studio-user/JupyterServer/default

/aws/sagemaker/studio/<domain-id>/studio-user/JupyterServer/default/LifecycleConfigOnStart

/aws/sagemaker/studio/<domain-id>/studio-user/KernelGateway/datascience-app

Para que SageMaker AI pueda enviar los registros CloudWatch en tu nombre, la persona que llame a la Training/Processing/Transform tarea APIs necesitará los siguientes permisos:

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Action": [   
                 "logs:CreateLogDelivery",      
                 "logs:CreateLogGroup",
                 "logs:CreateLogStream",
                 "logs:DeleteLogDelivery",
                 "logs:Describe*",
                 "logs:GetLogEvents",
                 "logs:GetLogDelivery",
                 "logs:ListLogDeliveries",
                 "logs:PutLogEvents",
                 "logs:PutResourcePolicy",
                 "logs:UpdateLogDelivery"
             ],
             "Resource": "*",
             "Effect": "Allow"
         } 
     ]
 }

Para cifrar esos registros con una AWS KMS clave personalizada, primero tendrás que modificar la política de claves para que el CloudWatch servicio pueda cifrar y descifrar la clave. Una vez que haya creado una AWS KMS clave de cifrado de registros, modifique la política de claves para incluir lo siguiente:

{
    "Version": "2012-10-17",
    "Statement": [
        {           
            "Effect": "Allow",
            "Principal": {
                "Service": "logs.region.amazonaws.com"
            },
            "Action": [
                "kms:Encrypt*",
                "kms:Decrypt*",
                "kms:ReEncrypt*",
                "kms:GenerateDataKey*",
                "kms:Describe*"
            ],
            "Resource": "*",
            "Condition": {
                "ArnLike": {
                    "kms:EncryptionContext:aws:logs:arn": "arn:aws:logs:region:account-id:*"
                }
            }
        }    
    ]
}    

Ten en cuenta que siempre puedes usar ArnEquals y proporcionar un nombre de recurso de Amazon específico (ARN) para el CloudWatch registro que deseas cifrar. Aquí se muestra cómo puede usar esta clave para cifrar todos los registros de una cuenta a efectos de simplicidad. Además, los puntos finales de formación, procesamiento y modelo publican métricas sobre la utilización de la instancia CPU y la memoria, la latencia de invocación del alojamiento, etc. También puedes configurar Amazon SNS para que notifique a los administradores los eventos cuando se superen determinados umbrales. El consumidor de la formación y el procesamiento APIs debe tener los siguientes permisos:

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Action": [         
                 "cloudwatch:DeleteAlarms",
                 "cloudwatch:DescribeAlarms",
                 "cloudwatch:GetMetricData",
                 "cloudwatch:GetMetricStatistics",
                 "cloudwatch:ListMetrics",
                 "cloudwatch:PutMetricAlarm",
                 "cloudwatch:PutMetricData",
                 "sns:ListTopics"
             ],
             "Resource": "*",
             "Effect": "Allow",
             "Condition": {
                 "StringLike": {
                     "cloudwatch:namespace": "aws/sagemaker/*"
                 }
             }
             
         },
         {
             "Action": [
                 "sns:Subscribe",
                 "sns:CreateTopic"
             ],
             "Resource": [
                 "arn:aws:sns:*:*:*SageMaker*",
                 "arn:aws:sns:*:*:*Sagemaker*",
                 "arn:aws:sns:*:*:*sagemaker*"
             ],
             "Effect": "Allow"
         }
     ]
 }

Audite con AWS CloudTrail

Para mejorar su postura de cumplimiento, audite todo lo que APIs necesite AWS CloudTrail. De forma predeterminada, APIs se registran todas las SageMaker IA AWS CloudTrail. No necesitas ningún IAM permiso adicional para activarla CloudTrail.

Todas las acciones de la SageMaker IA, a excepción de las InvokeEndpoint acciones de la IAInvokeEndpointAsync, se registran CloudTrail y se documentan en las operaciones. Por ejemplo, las llamadas a las CreateTrainingJob CreateNotebookInstance acciones y las llamadas generan entradas en los archivos de CloudTrail registro. CreateEndpoint

Cada entrada de CloudTrail evento contiene información sobre quién generó la solicitud. La información de identidad del usuario le ayuda a determinar lo siguiente:

• Si la solicitud se realizó con las credenciales raíz o del usuario de AWS IAM.

• Si la solicitud se realizó con credenciales de seguridad temporales de un rol o fue un usuario federado.

• Si la solicitud la realizó otro AWS servicio. Para ver un ejemplo de evento, consulta el registro de API llamadas de SageMaker IA con CloudTrail la documentación.

De forma predeterminada, CloudTrail registra el nombre de la función de ejecución de Studio del perfil de usuario como identificador de cada evento. Esto funciona si cada usuario tiene su propio rol de ejecución. Si varios usuarios comparten el mismo rol de ejecución, puede usar la sourceIdentity configuración para propagar el nombre del perfil de usuario de Studio a CloudTrail. Consulte Supervisión del acceso de los usuarios a los recursos desde Amazon SageMaker AI Studio para activar la sourceIdentity función. En un espacio compartido, todas las acciones hacen referencia al espacio ARN como fuente y no es posible realizar una auditoría exhaustivasourceIdentity.