Conceitos básicos de transformações visuais personalizadas

Para criar uma transformação visual personalizada, siga estas etapas.

• Etapa 1. Crie um arquivo de configuração JSON

• Etapa 2. Implemente a lógica da transformação

• Etapa 3. Valide a transformação visual personalizada

• Etapa 4. Atualize a transformação visual personalizada conforme necessário

• Etapa 5. Use a transformação visual personalizada no AWS Glue Studio

Comece configurando o bucket do Amazon S3 e continue com a Etapa 1. Crie um arquivo de configuração JSON.

Pré-requisitos

As transformações fornecidas pelo cliente residem em uma conta AWS do cliente. Essa conta é proprietária das transformações e, portanto, tem todas as permissões para visualizá-las (pesquisar e usar), editá-las ou excluí-las.

Para usar uma transformação personalizada no AWS Glue Studio, você precisará criar e fazer upload de dois arquivos para o bucket de ativos do Amazon S3 nessa conta AWS:

• Arquivo Python: contém a função de transformação

• Arquivo JSON: descreve a transformação. Isso também é conhecido como o arquivo de configuração que é necessário para definir a transformação.

Para emparelhar os arquivos, use o mesmo nome para ambos. Por exemplo:

• myTransform.json

• myTransform.py

Opcionalmente, você pode dar à sua transformação visual personalizada um ícone personalizado fornecendo um arquivo SVG contendo o ícone. Para emparelhar os arquivos, use o mesmo nome para o ícone:

• myTransform.svg

O AWS Glue Studio os combinará automaticamente usando seus respectivos nomes de arquivo. Os nomes dos arquivos não podem ser os mesmos para nenhum módulo existente.

Convenção recomendada para nome de arquivo de transformação

O AWS Glue Studio importará seu arquivo como módulo (por exemplo, import myTransform) em seu script de trabalho. Portanto, o nome do seu arquivo deve seguir as mesmas regras de nomenclatura definidas para nomes de variáveis (identificadores) do Python. Especificamente, eles devem começar com uma letra ou um sublinhado e, em seguida, ser compostos inteiramente por letras, dígitos e/ou sublinhados.

nota

Certifique-se de que o nome do arquivo de transformação não esteja em conflito com os módulos python carregados existentes (por exemplo, sys, array, copy etc.) para evitar problemas inesperados de runtime.

Configurar um bucket do Amazon S3

As transformações que você cria são armazenadas no Amazon S3 e pertencem à sua conta AWS. Você cria novas transformações visuais personalizadas simplesmente carregando arquivos (json e py) para a pasta de ativos do Amazon S3, onde todos os scripts de trabalho estão armazenados atualmente (por exemplo, s3://aws-glue-assets-<accountid>-<region>/transforms). Se estiver usando um ícone personalizado, carregue-o também. Por padrão, o AWS Glue Studio lerá todos os arquivos .json da pasta /transforms no mesmo bucket do S3.