Comece com AWS Glue Sessões interativas

Neste guia, você aprende como iniciar um AWS Glue sessão interativa no SageMaker Studio Classic e gerencie seu ambiente com as magias do Jupyter.

Permissões para AWS Glue sessões interativas no Studio ou no Studio Classic

Esta seção lista as políticas necessárias para execução AWS Glue sessões interativas no Studio ou no Studio Classic e explica como configurá-las. Em particular, detalha como:

• Anexe a política AwsGlueSessionUserRestrictedServiceRole gerenciada à sua função SageMaker de execução.

• Crie uma política personalizada em linha em sua função de SageMaker execução.

• Modifique a relação de confiança de sua função de SageMaker execução.

Para anexar a política gerenciada AwsGlueSessionUserRestrictedServiceRole ao seu perfil de execução

1. Abra o IAMconsole.

2. Selecione Funções no painel do lado esquerdo.

3. Encontre a função de execução do Studio Classic usada pelo seu perfil de usuário. Para obter informações sobre como visualizar um perfil de usuário, consulteExibir perfis de usuário e detalhes do perfil de usuário.

4. Escolha o nome da sua função para acessar a página de resumo da função.

5. Na guia Permissões, selecione Anexar políticas no menu suspenso Adicionar permissões.

6. Marque a caixa de seleção ao lado da política gerenciada AwsGlueSessionUserRestrictedServiceRole.

7. Escolha Anexar políticas.

   A página de resumo mostra as políticas gerenciadas recém-adicionadas.

Criar uma política personalizada em linha no seu perfil de execução

1. Selecione Criar política em linha no menu suspenso Adicionar permissões.

2. Selecione a guia JSON.

3. Copie e cole na política a seguir.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "unique_statement_id",
   
               "Effect": "Allow",
               "Action": [
   		"iam:GetRole",
                   "iam:PassRole",
                   "sts:GetCallerIdentity"
               ],
               "Resource": "*"
           }
       ]
   }

4. Escolha Revisar política.

5. Digite um Nome e escolha Criar política.

   A página de resumo mostra as políticas personalizadas recém-adicionadas.

Para modifficar a relação de confiança do seu perfil de execução

1. Selecione a guia Relações de confiança.

2. Escolha Editar política de confiança.

3. Copie e cole na política a seguir.

   {
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Principal": {
               "Service": [
                   "glue.amazonaws.com",
                   "sagemaker.amazonaws.com"
               ]
           },
           "Action": "sts:AssumeRole"
       }
   ]
   }

4. Escolha Atualizar política.

Você pode adicionar funções e políticas adicionais se precisar acessar outras AWS recursos. Para obter uma descrição das funções e políticas adicionais que você pode incluir, consulte sessões interativas IAM no AWS Glue documentação.

Propagação de tags

As tags são comumente usadas para rastrear e alocar custos, controlar o acesso à sua sessão, isolar seus recursos e muito mais. Para saber mais sobre como adicionar metadados ao seu AWS recursos usando marcação ou para obter detalhes sobre casos de uso comuns, consulteMais informações.

Você pode ativar a propagação automática de AWS tags para novas AWS Glue sessões interativas criadas a partir da interface do usuário do Studio ou do Studio Classic. Quando um AWS Glue a sessão interativa é criada a partir do Studio ou do Studio Classic, todas as tags definidas pelo usuário anexadas ao perfil do usuário ou ao espaço compartilhado são transferidas para o novo AWS Glue sessão interativa. Além disso, o Studio e o Studio Classic adicionam automaticamente dois AWS-tags internas geradas ((sagemaker:user-profile-arnesagemaker:domain-arn) ou (sagemaker:shared-space-arnesagemaker:domain-arn)) para novas AWS Glue sessões interativas criadas a partir de sua interface de usuário. Você pode usar essas tags para agregar custos em domínios, perfis de usuário ou espaços individuais.

Habilitar propagação de tags

Para habilitar a propagação automática de tags para novas AWS Glue sessões interativas, defina as seguintes permissões para sua função de SageMaker execução e a IAM função associada à sua AWS Glue sessão:

nota

Por padrão, a função associada ao AWS Glue a sessão interativa é igual à função SageMaker de execução. Você pode especificar uma função de execução diferente para o AWS Glue sessão interativa usando o comando %iam_role mágico. Para obter informações sobre os comandos mágicos do Jupyter disponíveis para configuração AWS Glue sessões interativas, consulteConfigure seu AWS Glue sessão interativa no Studio ou Studio Classic.

• Em sua função de SageMaker execução: crie uma nova política embutida e cole o JSON arquivo a seguir. A política concede à função de execução permissão para descrever (DescribeUserProfileDescribeSpace,,DescribeDomain) e listar as tags (ListTag) definidas nos perfis de usuário, espaços compartilhados e SageMaker domínio.

  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:ListTags"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:user-profile/*",
          "arn:aws:sagemaker:*:*:space/*"
      ]
  },
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeUserProfile"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:user-profile/*"
      ]
  },
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeSpace"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:space/*"
      ]
  }
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeDomain"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:domain/*"
      ]
  }

• Sobre o IAM papel do seu AWS Glue sessão: crie uma nova política embutida e cole o JSON arquivo a seguir. A política concede permissão à sua função para anexar tags (TagResource) à sua sessão ou recuperar sua lista de tags (GetTags).

  {
      "Effect": "Allow",
      "Action": [
          "glue:TagResource",
          "glue:GetTags"
      ],
      "Resource": [
          "arn:aws:glue:*:*:session/*"
      ]
  }

nota

• Falhas que ocorrem ao aplicar essas permissões não impedem a criação de AWS Glue sessões interativas. Você pode encontrar detalhes sobre o motivo da falha nos CloudWatchregistros do Studio ou do Studio Classic.

• Você deve reiniciar o kernel do seu AWS Glue sessão interativa para propagar a atualização do valor de uma tag.

É importante observar os seguintes pontos:

• Depois que uma tag é anexada a uma sessão, ela não pode ser removida por propagação.

  Você pode remover tags de um AWS Glue sessão interativa diretamente por meio do AWS CLI, o AWS Glue API, ou https://console.aws.amazon.com/sagemaker/o. Por exemplo, usando o AWS CLI, você pode remover uma tag fornecendo as chaves da sessão ARN e da tag que você deseja remover da seguinte forma:

  aws glue untag-resource \
  --resource-arn arn:aws:glue:region:account-id:session:session-name \
  --tags-to-remove tag-key1,tag-key2

• Studio e Studio Classic adicionam dois AWS-tags internas geradas ((sagemaker:user-profile-arnesagemaker:domain-arn) ou (sagemaker:shared-space-arnesagemaker:domain-arn)) para novas AWS Glue sessões interativas criadas a partir de sua interface de usuário. Essas tags contam contra o limite de 50 tags definido em todas AWS recursos. Ambos sagemaker:user-profile-arn sagemaker:shared-space-arn contêm o ID do domínio ao qual pertencem.

• As chaves de tags que começam com aws:AWS:,, ou qualquer combinação de letras maiúsculas e minúsculas como prefixo para chaves não são propagadas e são reservadas para AWS uso.

Mais informações

Para obter mais informações sobre marcação, consulte os recursos a seguir.

• Para saber mais sobre como adicionar metadados ao seu AWS recursos com marcação, consulte Marcação AWS recursos.

• Para obter informações sobre o controle de custos usando tags, consulte Análise de custos nas melhores práticas de administração do Studio.

• Para obter informações sobre como controlar o acesso ao AWS Glue com base nas teclas de tag, veja ABAC com AWS Glue.

Lance seu AWS Glue sessão interativa no Studio ou Studio Classic

Depois de criar as funções, as políticas e SageMaker o domínio, você pode iniciar seu AWS Glue sessão interativa no Studio ou Studio Classic.

1. Faça login no SageMaker console em https://console.aws.amazon.com/sagemaker/.

2. No painel de navegação esquerdo, escolha Studio.

3. Na página inicial do Studio, selecione o domínio e o perfil de usuário para iniciar o Studio.

4. Escolha Open Studio e inicie um aplicativo JupyterLab ou Studio Classic.

5. Na visualização do Jupyter, escolha Arquivo, depois Novo e, em seguida, Cadernos.

6. Para usuários do Studio Classic: no menu suspenso Imagem, selecione SparkAnalytics 1.0 ou SparkAnalytics 2.0. No menu suspenso do kernel, selecione Glue Spark ou Glue PySpark Python [and Ray]. Escolha Selecionar.

   Para usuários do Studio, selecione um kernel Glue Spark ou Glue Python PySpark [and Ray]

7. (opcional) Use mágicas do Jupyter para personalizar seu ambiente. Para obter mais informações sobre como encerrar uma , consulte Configure seu AWS Glue sessão interativa no Studio ou Studio Classic.

8. Comece a escrever seus scripts de processamento de dados do Spark. O caderno a seguir mostra um end-to-end fluxo de trabalho para ETL um grande conjunto de dados usando um AWS Glue sessão interativa, análise exploratória de dados, pré-processamento de dados e, finalmente, treinamento de um modelo nos dados processados com. SageMaker

Configure seu AWS Glue sessão interativa no Studio ou Studio Classic

nota

Todas as configurações mágicas são transferidas para as sessões subsequentes durante a vida útil do AWS Glue kernel.

Você pode usar a magia de Jupyter em seu AWS Glue sessão interativa para modificar sua sessão e os parâmetros de configuração. Magics são comandos curtos prefixados com % no início das células Jupyter que propiciam uma maneira rápida e fácil de ajudá-lo a controlar seu ambiente. Em seu AWS Glue sessão interativa, as seguintes magias são definidas para você por padrão:

Magia	Valor padrão
%glue_version	3.0
%iam_role	execution role attached to your SageMaker domain
%region	sua região

É possível usar mágicas para personalizar ainda mais seu ambiente. Por exemplo, se você quiser alterar o número de trabalhadores alocados para seu trabalho do padrão de cinco para 10, você pode especificar %number_of_workers 10. Se quiser configurar sua sessão para parar após 10 minutos de tempo ocioso em vez do 2880 padrão, você pode especificar %idle_timeout 10.

Todas as magias de Jupyter atualmente disponíveis em AWS Glue também estão disponíveis no Studio ou Studio Classic. Para obter a lista completa de AWS Glue mágicas disponíveis, consulte Configuração AWS Glue sessões interativas para Jupyter e AWS Glue Notebooks de estúdio.