Etapa 5. Execute o pipeline

Essa etapa executa o pipeline de treinamento ou inferência que foi criado nas AWS CloudFormation pilhas na etapa 4. O pipeline não pode ser executado até que seus parâmetros internos de espaço reservado tenham sido preenchidos com valores concretos. Essa ação de atribuir valores aos parâmetros de espaço reservado é a principal atividade da etapa 5. Exemplos de parâmetros de espaço reservado incluem:

• A localização dos conjuntos de dados de entrada, saída e intermediários

• A localização, no Amazon S3, dos scripts de runtime e outros códigos de pré-processamento ou avaliação que foram desenvolvidos na etapa 2 (por exemplo, sm_submit_url para o pipeline de treinamento)

• O nome da AWS região

Você precisa garantir que esses valores de caminho apontem para dados ou códigos válidos antes de executar o pipeline. Por exemplo, se você preencher o parâmetro de espaço reservado que representa o URL do Amazon S3 dos scripts de runtime do Python, você precisará fazer o upload desses scripts para esse URL. A pessoa que administra o pipeline é responsável pela verificação da consistência e pelo upload dos dados. As pessoas que definem ou criam o pipeline não precisam se preocupar com nada disso.

Dependendo da maturidade do pipeline, essa etapa pode ser automatizada para ser executada regularmente (semanal ou mensalmente). A automação também requer um monitoramento robusto, que é uma área importante, mas está fora do escopo deste guia. Para a execução do pipeline de treinamento, seria apropriado monitorar as métricas de avaliação. Para o pipeline de inferência, seria apropriado monitorar o desvio na distribuição dos dados de entrada e, se possível, coletar rótulos periodicamente e medir o desvio na precisão da previsão. Esses registros das execuções de treinamento e inferência devem ser registrados em um banco de dados para análise posterior.