Fase de implementação

A migração que segue o big bang ou a abordagem em fases requer novos desenvolvimentos e testes. O AWS Schema Conversion Tool (AWS SCT) pode gerar automaticamente AWS Glue trabalhos a partir de pacotes SSIS. Isso reduz significativamente o tempo e o esforço de migração. Ou você pode usar o AWS Glue Studio para desenvolvimento baseado em interface gráfica ou criar bibliotecas Spark que podem ser executadas em qualquer um deles ou no Amazon AWS Glue EMR.

As seções a seguir fornecem dicas úteis para usar AWS SCT AWS Glue, e o Amazon EMR.

AWS SCT

A ilustração de tela a seguir mostra um script de AWS Glue trabalho que foi convertido por AWS SCT.

AWS SCT pode converter pacotes SSIS em AWS Glue trabalhos em massa. Você pode editar o script para atualizar a lógica existente ou adicionar uma nova lógica, com base no seu novo design. Recomendamos que você siga as convenções de nomenclatura nos scripts AWS SCT convertidos para personalizá-los.

Para obter mais informações, consulte Conversão do SSIS AWS SCT em AWS Glue uso na AWS SCT documentação.

AWS Glue

AWS Glue O Studio fornece uma interface gráfica e uma experiência de desenvolvimento semelhantes às do SSIS, conforme ilustrado na tela a seguir.

Se você preferir não usar uma interface gráfica, você também pode executar seus scripts personalizados com as bibliotecas Python necessárias no AWS Glue console. Para obter mais informações, consulte Como fornecer seus próprios scripts personalizados na AWS Glue documentação.

AWS Glue fornece um conjunto de transformações integradas para processar seus dados. Elas são semelhantes às transformações de fluxo de dados do SSIS. Siga estas melhores práticas ao migrar suas tarefas de ETL do SSIS usando: AWS Glue

• Prepare um mapeamento das AWS Glue transformações para as transformações SSIS equivalentes.

• Se suas transformações não puderem ser mapeadas para AWS Glue transformações, crie-as usando um script personalizado em Python ou Scala.

• Para registros personalizados (como linhas lidas, linhas gravadas ou registros incorretos), use scripts personalizados além da Amazon CloudWatch.

• Adicione um endpoint de desenvolvimento para desenvolver e depurar scripts personalizados localmente.

Amazon EMR

Você pode executar scripts personalizados (escritos em Python ou Scala) ou bibliotecas Python compiladas em clusters do EMR, como acontece com. AWS Glue Siga estas melhores práticas:

• Comece com tipos de instância otimizados para memória enquanto cria clusters EMR com a estrutura Spark. (O SSIS usa buffers de memória.)

• Crie métodos Python genéricos que sejam equivalentes a cada tarefa ou transformação do SSIS. Por exemplo, na ilustração a seguir, um método que usa dois quadros de dados como entrada produz um terceiro quadro de dados que tem registros correspondentes dos dois quadros de dados como saída. Isso funciona como uma transformação de junção de mesclagem.

Teste

É necessária uma estrutura de teste para validar a integridade e a exatidão dos dados. Essa estrutura deve abranger todos os cenários existentes e todas as melhorias que você fez ao migrar seus trabalhos para o. AWS

• Validação de integridade:

  • Todos os trabalhos são migrados para o estado de destino.

  • Todas as funcionalidades são migradas em cada trabalho.

  • Todos os tipos de registros estão disponíveis, incluindo detalhes da execução do trabalho, mensagens de erro, registros incorretos e contagens de linhas.

• Validação de exatidão:

  • A qualidade dos dados é consistente nos ambientes existentes e novos.

  • Todas as colunas de todas as tabelas coincidem ou as tabelas foram aprimoradas AWS.

  • Todas as informações de auditoria e registro coincidem.

Você também deve verificar se o desempenho dos trabalhos migrados corresponde ao desempenho dos trabalhos existentes.