Como a Amazon SageMaker processa os resultados de treinamento

À medida que é executado em um contêiner, o algoritmo gera um resultado, incluindo o status do trabalho de treinamento e do modelo e os artefatos de saída. O algoritmo deve gravar essas informações nos seguintes arquivos, que estão localizados no diretório /output do contêiner: A Amazon SageMaker processa as informações contidas nesse diretório da seguinte forma:

• /opt/ml/model— Seu algoritmo deve gravar todos os artefatos do modelo final nesse diretório. SageMaker copia esses dados como um único objeto no formato tar compactado para o local do S3 que você especificou na CreateTrainingJob solicitação. Se vários contêineres em um único trabalho de treinamento gravarem nesse diretório, eles devem garantir que nenhum file/directory nome entre em conflito. SageMakeragrega o resultado em um TAR arquivo e faz o upload para o S3 no final do trabalho de treinamento.

• /opt/ml/output/data— Seu algoritmo deve gravar artefatos que você deseja armazenar, além do modelo final, nesse diretório. SageMakercopia esses dados como um único objeto no formato tar compactado para o local do S3 que você especificou na CreateTrainingJob solicitação. Se vários contêineres em um único trabalho de treinamento gravarem nesse diretório, eles devem garantir que nenhum file/directory nome entre em conflito. SageMaker agrega o resultado em um TAR arquivo e faz o upload para o S3 no final do trabalho de treinamento.

• /opt/ml/output/failure – Se o treinamento apresentar falhas, depois que todos os resultados do algoritmo (por exemplo, o registro em logs) estiverem concluídos, o algoritmo deverá gravar a descrição da falha nesse arquivo. Em uma DescribeTrainingJob resposta, SageMaker retorna os primeiros 1024 caracteres desse arquivo comoFailureReason.

Você pode especificar um bucket de uso geral do S3 ou um bucket de diretório do S3 para armazenar sua saída de treinamento. Os buckets de diretório usam somente a classe de armazenamento Amazon S3 Express One Zone, projetada para cargas de trabalho ou aplicativos de desempenho crítico que exigem latência consistente de um dígito em milissegundos. Escolha o tipo de bucket que melhor se adapte aos requisitos de performance e da aplicação. Para obter mais informações sobre buckets de diretório do S3, consulte Buckets de diretório no Guia do usuário do Amazon Simple Storage Service.