Trabalhos (herdados)
Um script contém o código que executa o trabalho de extração, transformação e carregamento (ETL). Você pode fornecer seu próprio script, ou o AWS Glue pode gerar um script com a sua orientação sua. Para obter informações sobre como criar seus próprios scripts, consulte Fornecer seus próprios scripts personalizados.
Você pode editar um script no console do AWS Glue. Ao editar um script, você pode adicionar fontes, destinos e transformações.
Para editar um script
-
Faça login no AWS Management Console e abra o console do AWS Glue em https://console.aws.amazon.com/glue/
. Em seguida, escolha a guia Jobs. -
Selecione um trabalho na lista e escolha Action, Edit script para abrir o editor de scripts.
Você também pode acessar o editor de scripts na página de detalhes do trabalho. Escolha a guia Script e, em seguida, Edit script (Editar script).
Editor de scripts
O editor de scripts do AWS Glue permite inserir, modificar e excluir fontes, destinos e transformações no seu script. O editor de scripts exibe o script e um diagrama para ajudar você a visualizar o fluxo de dados.
Para criar um diagrama para o script, escolha Generate diagram (Gerar diagrama). O AWS Glue usa linhas de anotação no script que começam com ## para renderizar o diagrama. Para representar corretamente seu script no diagrama, você precisa manter em sincronia os parâmetros nas anotações e os parâmetros no código Apache Spark.
O editor de scripts permite que você adicione modelos de código sempre que o cursor estiver posicionado no script. Na parte superior do editor, escolha as seguintes opções:
-
Para adicionar uma tabela de origem ao script, escolha Source.
-
Para adicionar uma tabela de destino ao script, escolha Target.
-
Para adicionar um local de destino ao script, escolha Target location.
-
Para adicionar uma transformação ao script, escolha Transform. Para obter informações sobre as funções que são chamadas no seu script, consulte Programar scripts de ETL do AWS Glue em PySpark.
-
Para adicionar uma transformação Spigot ao script, escolha Spigot.
No código inserido, modifique o parameters nas anotações e no código Apache Spark. Por exemplo, se você adicionar uma transformação Spigot, verifique se path foi substituído na linha de anotação @args e na linha de código output.
A guia Logs mostra os logs associados ao seu trabalho à medida que ele é executado. As mil linhas mais recentes são exibidas.
A guia Schema (Esquema) mostra o esquema das fontes e dos destinos selecionados, quando disponíveis no Data Catalog.
