Criando AWS Glue empregos com sessões interativas

Os engenheiros de dados podem criar trabalhos do AWS Glue de forma mais fácil e rápida do que antes usando sessões interativas no AWS Glue.

Tópicos

• Visão geral das sessões interativas do AWS Glue
• Conceitos básicos das sessões interativas do AWS Glue
• Configuração de sessões interativas do AWS Glue para cadernos do Jupyter e do AWS Glue Studio
• Introdução às sessões interativas do AWS Glue for Ray (versão prévia)
• Convertendo um script ou notebook em um trabalho AWS Glue
• Trabalhando com operações de streaming em sessões AWS Glue interativas
• Desenvolver e testar scripts de trabalho do AWS Glue localmente
• Endpoints de desenvolvimento

Visão geral das sessões interativas do AWS Glue

Com as sessões interativas do AWS Glue, você pode criar, testar e executar aplicações de análise e preparação de dados rapidamente. As sessões interativas fornecem uma interface programática e visual para criar e testar scripts de extração, transformação e carregamento (ETL) para preparação de dados. As sessões interativas executam aplicações de análise do Apache Spark e fornecem acesso sob demanda a um ambiente do runtime remoto do Spark. O AWS Glue gerencia de forma transparente o Spark sem servidor para essas sessões interativas.

Sessões interativas são flexíveis, portanto você pode criar e testar aplicações a partir do ambiente de sua escolha. Você pode criar e trabalhar com sessões interativas por meio do AWS Command Line Interface e doAPI. Você pode usar cadernos compatíveis com o Jupyter para criar e testar visualmente seus scripts de caderno. As sessões interativas fornecem um kernel Jupyter de código aberto que se integra a praticamente qualquer lugar que o Jupyter faça, incluindo a integração com IntelliJ e VS IDEs Code. PyCharm Isso permite que você crie código em seu ambiente local e execute-o perfeitamente no backend de sessões interativas.

Usando as sessões interativasAPI, os clientes podem executar programaticamente aplicativos que usam a análise do Apache Spark sem precisar gerenciar a infraestrutura do Spark. Você pode executar uma ou mais instruções do Spark em uma única sessão interativa.

As sessões interativas, portanto, fornecem uma maneira mais rápida, barata e mais flexível de criar e executar aplicações de análise e preparação de dados. Para aprender a usar sessões interativas, consulte a documentação nesta seção. Magic suportado pelo AWS Glue

Limitações

• Marcadores de trabalho não são compatíveis com sessões interativas.

• Não AWS Command Line Interface há suporte para a criação de trabalhos em notebooks usando o.