Conceitos básicos das sessões interativas do AWS Glue

Estas seções descrevem como executar sessões interativas do AWS Glue localmente.

Pré-requisitos para configurar sessões interativas localmente

Veja a seguir os pré-requisitos para instalar sessões interativas:

• As versões compatíveis do Python são 3.6 a 3.10+.

• Veja as seções abaixo para obter instruções para macOS/Linux e Windows.

Instalando o Jupyter e sessões AWS Glue interativas (kernels do Jupyter)

Use o seguinte para instalar o kernel localmente.

O comando, install-glue-kernels, instala o jupyter kernelspec para os kernels pyspark e spark e também instala logos no diretório correto.

pip3 install --upgrade jupyter boto3 aws-glue-sessions         
          

install-glue-kernels  	          
	        

Execução do Jupyter

Conclua as etapas a seguir para executar o Jupyter Notebook.

1. Para executar o Jupyter Notebook, execute o comando a seguir.

   jupyter notebook

2. Escolha New (Novo) e escolha um dos kernels do AWS Glue para começar a codificar no AWS Glue.

Configuração de credenciais e região da sessão

Instruções para macOS/Linux

As sessões interativas do AWS Glue exigem as mesmas permissões do IAM que trabalhos e endpoints de desenvolvimento do AWS Glue. Especifique a função usada com sessões interativas de uma das duas formas a seguir:

1. Com as mágicas %iam_role e %region

2. Com uma linha adicional em ~/.aws/config

Configurar uma função de sessão com mágica

Na primeira célula, digite %iam_role <YourGlueServiceRole> na primeira célula executada.

Configurar uma função de sessão com ~/.aws/config

AWS GlueA função de serviço para sessões interativas pode ser especificada no próprio notebook ou armazenada junto com a AWS CLI configuração. Se tiver uma função que você costuma usar com trabalhos do AWS Glue, essa será a função. Se não tiver um perfil que você usa para trabalhos do AWS Glue, siga as instruções neste guia Configurar permissões do IAM para o AWS Glue a fim de configurar um.

Para definir essa função como a função padrão para sessões interativas:

1. Em um editor de texto, abra ~/.aws/config.

2. Procure o perfil que você usa para o AWS Glue. Se você não usar um perfil, use o perfil [Default].

3. Adicione uma linha no perfil para a função que você pretende usar como glue_role_arn=<AWSGlueServiceRole>.

4. [Opcional]: se o seu perfil não tiver uma região padrão definida, é recomendável adicionar uma com region=us-east-1, substituindo us-east-1 pela região desejada.

5. Salve a configuração.

Para ter mais informações, consulte Sessões interativas com o IAM.

Instruções para Windows

As sessões interativas do AWS Glue exigem as mesmas permissões do IAM que trabalhos e endpoints de desenvolvimento do AWS Glue. Especifique a função usada com sessões interativas de uma das duas formas a seguir:

1. Com as mágicas %iam_role e %region

2. Com uma linha adicional em ~/.aws/config

Configurar uma função de sessão com mágica

Na primeira célula, digite %iam_role <YourGlueServiceRole> na primeira célula executada.

Configurar um perfil de sessão com o ~/.aws/config

AWS GlueA função de serviço para sessões interativas pode ser especificada no próprio notebook ou armazenada junto com a AWS CLI configuração. Se tiver uma função que você costuma usar com trabalhos do AWS Glue, essa será a função. Se não tiver uma função que você usa para trabalhos do AWS Glue, siga as instruções no guia Configurar permissões do IAM para o AWS Glue a fim de configurar uma.

Para definir essa função como a função padrão para sessões interativas:

1. Em um editor de texto, abra ~/.aws/config.

2. Procure o perfil que você usa para o AWS Glue. Se você não usar um perfil, use o perfil [Default].

3. Adicione uma linha no perfil para a função que você pretende usar como glue_role_arn=<AWSGlueServiceRole>.

4. [Opcional]: se o seu perfil não tiver uma região padrão definida, é recomendável adicionar uma com region=us-east-1, substituindo us-east-1 pela região desejada.

5. Salve a configuração.

Para ter mais informações, consulte Sessões interativas com o IAM.

Atualização com base na prévia das sessões interativas

O kernel foi atualizado com novos nomes quando foi lançado com a versão 0.27. Para limpar as versões de pré-visualização dos kernels, execute o seguinte em um terminal ou. PowerShell

nota

Se você fizer parte de qualquer outra prévia do AWS Glue que exija um modelo de serviço personalizado, remover o kernel removerá o modelo de serviço personalizado.

# Remove Old Glue Kernels
jupyter kernelspec remove glue_python_kernel
jupyter kernelspec remove glue_scala_kernel

# Remove Custom Model
cd ~/.aws/models
rm -rf glue/