Registro em log e monitoramento

Para ajudá-lo a depurar seus trabalhos de compilação, trabalhos de processamento, trabalhos de treinamento, endpoints, trabalhos de transformação, instâncias de notebook e configurações de ciclo de vida de instâncias de notebook, tudo o que um contêiner de algoritmo, um contêiner de modelo ou uma configuração de ciclo de vida de instância de notebook envia para stdout ou stderr também é enviado para o Amazon Logs. CloudWatch Você pode monitorar o SageMaker AI Studio usando a Amazon CloudWatch, que coleta dados brutos e os processa em métricas legíveis, quase em tempo real. Essas estatísticas são mantidas por 15 meses, de maneira que você possa acessar informações históricas e ter uma perspectiva melhor de como o aplicativo web ou o serviço está se saindo.

Fazendo login com CloudWatch

Como o processo de ciência de dados é inerentemente experimental e iterativo, é essencial registrar atividades como uso do notebook, tempo de execução do trabalho de treinamento/processamento, métricas de treinamento e métricas de atendimento de endpoints, como latência de invocação. Por padrão, a SageMaker IA publica métricas no CloudWatch Logs, e esses registros podem ser criptografados com chaves gerenciadas pelo cliente usando. AWS KMS

Você também pode usar VPC endpoints para enviar registros CloudWatch sem usar a Internet pública. Você também pode definir alarmes que observam determinados limites e enviam notificações ou realizam ações quando esses limites são atingidos. Para obter mais informações, consulte o Guia do CloudWatch usuário da Amazon.

SageMaker A IA cria um único grupo de registros para o Studio, em/aws/sagemaker/studio. Cada perfil de usuário e aplicativo tem seu próprio fluxo de logs nesse grupo de logs, e os scripts de configuração do ciclo de vida também têm seu próprio fluxo de logs. Por exemplo, um perfil de usuário chamado “studio-user” com um aplicativo Jupyter Server e com um script de ciclo de vida anexado, e um aplicativo Data Science Kernel Gateway tem os seguintes fluxos de logs:

/aws/sagemaker/studio/<domain-id>/studio-user/JupyterServer/default

/aws/sagemaker/studio/<domain-id>/studio-user/JupyterServer/default/LifecycleConfigOnStart

/aws/sagemaker/studio/<domain-id>/studio-user/KernelGateway/datascience-app

Para que a SageMaker IA envie registros CloudWatch em seu nome, o chamador do Training/Processing/Transform trabalho APIs precisará das seguintes permissões:

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Action": [   
                 "logs:CreateLogDelivery",      
                 "logs:CreateLogGroup",
                 "logs:CreateLogStream",
                 "logs:DeleteLogDelivery",
                 "logs:Describe*",
                 "logs:GetLogEvents",
                 "logs:GetLogDelivery",
                 "logs:ListLogDeliveries",
                 "logs:PutLogEvents",
                 "logs:PutResourcePolicy",
                 "logs:UpdateLogDelivery"
             ],
             "Resource": "*",
             "Effect": "Allow"
         } 
     ]
 }

Para criptografar esses registros com uma AWS KMS chave personalizada, primeiro você precisará modificar a política de chaves para permitir que o CloudWatch serviço criptografe e descriptografe a chave. Depois de criar uma AWS KMS chave de criptografia de log, modifique a política de chaves para incluir o seguinte:

{
    "Version": "2012-10-17",
    "Statement": [
        {           
            "Effect": "Allow",
            "Principal": {
                "Service": "logs.region.amazonaws.com"
            },
            "Action": [
                "kms:Encrypt*",
                "kms:Decrypt*",
                "kms:ReEncrypt*",
                "kms:GenerateDataKey*",
                "kms:Describe*"
            ],
            "Resource": "*",
            "Condition": {
                "ArnLike": {
                    "kms:EncryptionContext:aws:logs:arn": "arn:aws:logs:region:account-id:*"
                }
            }
        }    
    ]
}    

Observe que você sempre pode usar ArnEquals e fornecer um Amazon Resource Name (ARN) específico para o CloudWatch log que você deseja criptografar. Aqui, mostramos que você pode usar essa chave para criptografar todos os logs em uma conta para simplificar. Além disso, endpoints de treinamento, processamento e modelo publicam métricas sobre a utilização da instância CPU e da memória, a latência da invocação de hospedagem e assim por diante. Você também pode configurar SNS a Amazon para notificar os administradores sobre eventos quando determinados limites forem ultrapassados. O consumidor do treinamento e do processamento APIs precisa ter as seguintes permissões:

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Action": [         
                 "cloudwatch:DeleteAlarms",
                 "cloudwatch:DescribeAlarms",
                 "cloudwatch:GetMetricData",
                 "cloudwatch:GetMetricStatistics",
                 "cloudwatch:ListMetrics",
                 "cloudwatch:PutMetricAlarm",
                 "cloudwatch:PutMetricData",
                 "sns:ListTopics"
             ],
             "Resource": "*",
             "Effect": "Allow",
             "Condition": {
                 "StringLike": {
                     "cloudwatch:namespace": "aws/sagemaker/*"
                 }
             }
             
         },
         {
             "Action": [
                 "sns:Subscribe",
                 "sns:CreateTopic"
             ],
             "Resource": [
                 "arn:aws:sns:*:*:*SageMaker*",
                 "arn:aws:sns:*:*:*Sagemaker*",
                 "arn:aws:sns:*:*:*sagemaker*"
             ],
             "Effect": "Allow"
         }
     ]
 }

Auditoria com AWS CloudTrail

Para melhorar sua postura de conformidade, audite tudo o que você APIs precisa. AWS CloudTrail Por padrão, todas as SageMaker IA APIs são registradas com AWS CloudTrail. Você não precisa de nenhuma IAM permissão adicional para habilitar CloudTrail.

Todas as ações de SageMaker IA, com exceção de InvokeEndpoint eInvokeEndpointAsync, são registradas CloudTrail e documentadas nas operações. Por exemplo, chamadas para as CreateNotebookInstance ações CreateTrainingJobCreateEndpoint, e geram entradas nos arquivos de CloudTrail log.

Cada entrada de CloudTrail evento contém informações sobre quem gerou a solicitação. As informações de identidade ajudam a determinar o seguinte:

• Se a solicitação foi feita com credenciais de usuário da raiz ou do AWS IAM.

• Se a solicitação foi feita com credenciais de segurança temporárias de uma função ou de um usuário federado.

• Se a solicitação foi feita por outro AWS serviço. Para ver um exemplo de evento, consulte o Log SageMaker AI API Calls com a CloudTrail documentação.

Por padrão, CloudTrail registra o nome da função de execução do Studio do perfil do usuário como identificador de cada evento. Isso funciona se cada usuário tiver seu próprio perfil de execução. Se vários usuários compartilharem a mesma função de execução, você poderá usar a sourceIdentity configuração para propagar o nome do perfil de usuário do Studio para CloudTrail. Consulte Monitoramento do acesso aos recursos do usuário do Amazon SageMaker AI Studio para ativar o sourceIdentity recurso. Em um espaço compartilhado, todas as ações se referem ao espaço ARN como fonte, e você não pode auditá-lassourceIdentity.