Etapa 4. Criar o pipeline

Depois de definir o pipeline de forma lógica, é hora de criar a infraestrutura para dar suporte ao pipeline. Essa etapa requer, no mínimo, os seguintes recursos:

• Armazenamento, para hospedar e gerenciar entradas e saídas do pipeline, incluindo código, artefatos de modelo e dados usados em treinamentos e execuções de inferência.

• Computação (GPU ou CPU) para modelagem e inferência, bem como pré-processamento e pós-processamento de dados.

• Orquestração, para gerenciar os recursos que estão sendo usados e programar qualquer execução regular. Por exemplo, o modelo pode ser retreinado periodicamente à medida que novos dados se tornam disponíveis.

• Execução de logs e alertas para monitorar a precisão do modelo de pipeline para a utilização de recursos e solução de problemas.

Implementação com AWS CloudFormation

Para criar o pipeline que usamos AWS CloudFormation, que é um AWS serviço para implantar e gerenciar a infraestrutura como código. Os AWS CloudFormation modelos incluem a definição do Step Functions que foi criada na etapa anterior com o SDK do Step Functions. Essa etapa inclui a criação da instância Funções de Etapa gerenciada pela AWS, chamada de máquina de estado das Funções de Etapa. Nenhum recurso para treinamento e inferência é criado nesse estágio, porque os trabalhos de treinamento e inferência são executados sob demanda, somente quando são necessários, como trabalhos de SageMaker IA. Essa etapa também inclui a criação de funções AWS Identity and Access Management (IAM) para executar o Step Functions, executar a SageMaker IA e ler e gravar no Amazon S3.

Modificando a saída do SDK Funções de Etapa

Tivemos que fazer algumas pequenas modificações na AWS CloudFormation saída da seção anterior. Usamos a correspondência simples de strings do Python para fazer o seguinte:

• Adicionamos lógica para criar a Parameters seção do AWS CloudFormation modelo. Isso ocorre porque queremos criar duas funções e definir o nome do pipeline como um parâmetro junto com o ambiente de implantação. Essa etapa também abrange quaisquer recursos e funções adicionais que você queira criar, conforme discutido na etapa 6.

• Reformatamos três campos para ter o prefixo !Sub e as aspas necessárias para que possam ser atualizados dinamicamente como parte do processo de implantação:

  • A propriedade StateMachineName, que nomeia a máquina de estado.

  • A propriedade DefinitionString, que define a máquina de estado.

  • A propriedade RoleArn, que é retornada pela máquina de estado.