Configurar chamadas da AWS para passar por sua VPC - AWS Glue

Configurar chamadas da AWS para passar por sua VPC

O parâmetro especial de trabalho disable-proxy-v2 permite rotear suas chamadas para serviços como Amazon S3, CloudWatch e AWS Glue por meio da sua VPC. Por padrão, o AWS Glue usa um proxy local para enviar tráfego pela VPC do AWS Glue para baixar scripts e bibliotecas do Amazon S3, enviar solicitações ao CloudWatch para publicação de logs e métricas, e para enviar ao AWS Glue solicitações de acesso a catálogos de dados. Esse proxy permite que o trabalho funcione normalmente, mesmo se a VPC não configurar uma rota adequada para outros serviços da AWS, como o Amazon S3, o CloudWatch e o AWS Glue. O AWS Glue agora oferece um parâmetro para você desativar esse comportamento. Para obter mais informações, consulte Parâmetros de trabalho usados pelo AWS Glue. O AWS Glue continuará a usar o proxy local para publicar logs do CloudWatch de seus trabalhos do AWS Glue.

nota

  • Esse recurso é compatível com trabalhos do AWS Glue com o AWS Glue versão 2.0 e superior. Ao usar esse recurso, você precisa garantir que sua VPC tenha configurado uma rota para o Amazon S3 por meio de um endpoint de NAT ou VPC de serviço.

  • O parâmetro de trabalho obsoleto disable-proxy só encaminha as chamadas para o Amazon S3 para baixar scripts e bibliotecas pela VPC. É recomendável usar o novo parâmetro disable-proxy-v2 em seu lugar.

Exemplo de uso

Criar um trabalho do AWS Glue com disable-proxy-v2:

aws glue create-job \
    --name no-proxy-job \
    --role GlueDefaultRole \
    --command "Name=glueetl,ScriptLocation=s3://my-bucket/glue-script.py" \
    --connections Connections="traffic-monitored-connection" \
    --default-arguments '{"--disable-proxy-v2" : "true"}'