Acesso a contêineres por meio do SSM

A Amazon SageMaker AI permite que você se conecte com segurança aos contêineres do Docker nos quais seus modelos são implantados para inferência usando o Systems AWS Manager (SSM). Isso lhe dá acesso em nível de shell ao contêiner para que você possa depurar os processos em execução no contêiner e registrar comandos e respostas com a Amazon CloudWatch. Você também pode configurar uma AWS PrivateLink conexão com as instâncias de ML que hospedam seus contêineres para acessar os contêineres via SSM de forma privada.

Atenção

Habilitar o acesso SSM pode afetar a performance do seu endpoint. Recomendamos usar esse recurso com seus endpoints de teste ou desenvolvimento e não com os endpoints em produção. Além disso, a SageMaker IA aplica automaticamente os patches de segurança e substitui ou encerra instâncias de endpoint com defeito em 10 minutos. No entanto, para endpoints com variantes de produção habilitadas para SSM, a SageMaker IA atrasa a aplicação de patches de segurança e a substituição ou encerramento de instâncias de endpoint com defeito em um dia, para permitir a depuração.

As seções a seguir detalham como você pode usar esse recurso.

Lista de permissões

Você precisa entrar em contato com o suporte ao cliente e obter sua conta na lista de permissões para usar esse recurso. Você não pode criar um endpoint com o acesso SSM habilitado, se sua conta não estiver na lista de permissões listadas para esse acesso.

Habilitar acesso ao SSM

Para habilitar o acesso SSM a um contêiner existente em um endpoint, atualize o endpoint com uma nova configuração de endpoint, com o parâmetro EnableSSMAccess definido como true. O exemplo a seguir fornece um exemplo de configuração de endpoint.

{
    "EndpointConfigName": "endpoint-config-name",
    "ProductionVariants": [
        {
            "InitialInstanceCount": 1,
            "InitialVariantWeight": 1.0,
            "InstanceType": "ml.t2.medium",
            "ModelName": model-name,
            "VariantName": variant-name,
            "EnableSSMAccess": true,
        },
    ]
}
        

Para obter mais informações sobre como habilitar o acesso SSM, consulte Habilitar SSMAccess.

Configuração do IAM

Permissões do IAM do endpoint

Se você habilitou o acesso SSM para uma instância de endpoint, a SageMaker AI inicia e gerencia o agente SSM quando inicia a instância de endpoint. Para permitir que o agente SSM se comunique com os serviços do SSM, adicione a política a seguir ao perfil de execução sob a qual o endpoint é executado.

{
    "Version": "2012-10-17",            
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ssmmessages:CreateControlChannel",
                "ssmmessages:CreateDataChannel",
                "ssmmessages:OpenControlChannel",
                "ssmmessages:OpenDataChannel"
            ],
            "Resource": "*"    
        }
    ]
 }
            

Permissões do IAM para usuários

Adicione a política a seguir para dar a um usuário do IAM permissões de sessão SSM para se conectar a um destino SSM.

{
    "Version": "2012-10-17",            
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ssm:StartSession",
                "ssm:TerminateSession"
            ],
            "Resource": "*"    
        }
    ]
}
            

Você pode restringir os endpoints aos quais um usuário do IAM pode se conectar usando a política a seguir. Substitua os italicized placeholder text por suas próprias informações.

{
    "Version": "2012-10-17",            
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ssm:StartSession",
            ],
            "Resource": [
                "sagemaker-endpoint-arn"
            ]    
        }
    ]
}

            

Acesso SSM com AWS PrivateLink

Se seus endpoints são executados em uma nuvem privada virtual (VPC) que não está conectada à Internet pública, você pode AWS PrivateLink usar para habilitar o SSM. AWS PrivateLink restringe todo o tráfego de rede entre suas instâncias de endpoint, SSM e Amazon EC2 à rede Amazon. Para obter mais informações sobre como configurar o acesso ao SSM com AWS PrivateLink, consulte Configurar uma VPC endpoint para o Gerenciador de Sessões.

Registro com Amazon CloudWatch Logs

Para endpoints com acesso via SSM, você pode registrar erros do agente SSM com o Amazon Logs. CloudWatch Para obter mais informações sobre como registrar erros com o CloudWatch Logs, consulte Registrar a atividade da sessão. O log está disponível no streaming de logs do SSM, variant-name/ec2-instance-id/ssm, no grupo de logs do endpoint /aws/sagemaker/endpoints/endpoint-name. Para obter mais informações sobre como visualizar o registro, consulte Exibir dados de registro enviados para o CloudWatch Logs.

As variantes de produção por trás do seu endpoint podem ter vários modelos de contêineres. O log de cada contêiner modelo é registrado no streaming de logs. Cada log é precedido por [sagemaker ssm logs][container-name], onde container-name é o nome que você deu ao contêiner ou o nome padrão, como container_0 e container_1.

Acesso a contêineres de modelos

Para acessar um contêiner de modelo em sua instância de endpoint, você precisa da ID de destino. A ID do destino está em um dos seguintes formatos:

• sagemaker-endpoint:endpoint-name_variant-name_ec2-instance-id para contêineres em endpoints de contêiner único

• sagemaker-endpoint:endpoint-name_variant-name_ec2-instance-id_container-name para contêineres em endpoints de contêineres múltiplos

O exemplo a seguir mostra como você pode usar o AWS CLI para acessar um contêiner de modelo usando seu ID de destino.

aws ssm start-session --target sagemaker-endpoint:prod-image-classifier_variant1_i-003a121c1b21a90a9_container_1
        

Se você ativar o registro, conforme mencionado emRegistro com Amazon CloudWatch Logs, poderá encontrar o destino de todos IDs os contêineres listados no início do fluxo de registros do SSM.

nota

• Você não pode se conectar a contêineres de algoritmo 1P ou contêineres de modelos obtidos da SageMaker IA MarketPlace com SSM. No entanto, você pode se conectar aos contêineres de aprendizado profundo (DLCs) fornecidos por AWS ou a qualquer contêiner personalizado que você possua.

• Se você ativou o isolamento de rede para um contêiner modelo que o impede de fazer chamadas de rede de saída, não será possível iniciar uma sessão de SSM para esse contêiner.

• Você só pode acessar um contêiner de uma sessão de SSM. Para acessar outro contêiner, mesmo que ele esteja atrás do mesmo endpoint, inicie uma nova sessão de SSM com a ID de destino desse endpoint.