Usar um algoritmo para executar um trabalho de treinamento

Você pode criar e usar um recurso de algoritmo para criar um trabalho de treinamento usando o SageMaker console da Amazon, a SageMaker API de baixo nível da Amazon ou o SDK do Amazon SageMaker Python.

Usar um algoritmo para executar um trabalho de treinamento (console)

Para usar um algoritmo para executar um trabalho de treinamento (console)

1. Abra o SageMaker console em https://console.aws.amazon.com/sagemaker/.

2. Escolha Algoritmos.

3. Escolha um algoritmo que você criou a partir da lista na guia Meus algoritmos ou escolha um algoritmo que você assinou na guia AWS Marketplace assinaturas.

4. Escolha Criar trabalho de treinamento.

   O algoritmo escolhido será automaticamente selecionado.

5. Na página Criar trabalho de treinamento, forneça as seguintes informações:

   1. Para Nome do trabalho, digite um nome para o trabalho de treinamento.

   2. Para a função do IAM, escolha uma função do IAM que tenha as permissões necessárias para executar trabalhos de treinamento ou escolha Criar uma nova função SageMaker para permitir a criação de uma função que tenha a política AmazonSageMakerFullAccess gerenciada anexada. SageMaker Para obter mais informações, consulte Como usar funções SageMaker de execução.

   3. Para Configuração de recursos, forneça as seguintes informações:

      1. Para Tipo de instância, escolha o tipo de instância a ser usado para treinamento.

      2. Para Contagem de instâncias, digite o número de instâncias de ML a serem usadas no trabalho de treinamento.

      3. Para Volume adicional por instância (GB), digite o tamanho do volume de armazenamento de ML que você deseja provisionar. Volumes de armazenamento de ML armazenam artefatos de modelo e estados incrementais.

      4. Para Chave de criptografia, se você quiser que SageMaker a Amazon use uma AWS chave do Key Management Service para criptografar dados no volume de armazenamento de ML anexado à instância de treinamento, especifique a chave.

      5. Para Condição de interrupção, especifique o tempo máximo em segundos, minutos, horas ou dias que você deseja que o trabalho de treinamento seja executado.

   4. Para VPC, escolha uma Amazon VPC que você deseja permitir que o seu contêiner de treinamento acesse. Para ter mais informações, consulte Ofereça aos empregos de SageMaker treinamento acesso aos recursos em sua Amazon VPC.

   5. Para Hiperparâmetros, especifique os valores dos hiperparâmetros a serem usados para o trabalho de treinamento.

   6. Para Configuração dos dados de entrada, especifique os seguintes valores para cada canal de dados de entrada a ser usado para o trabalho de treinamento. Você pode ver quais são os canais compatíveis pelo algoritmo usado para treinamento, o tipo de conteúdo compatível, o tipo de compressão com suporte e os modos de entrada com suporte para cada canal na seção Especificação do canal da página Resumo do algoritmo desse algoritmo.

      1. Para Nome do canal, digite o nome do canal de entrada.

      2. Para Tipo de conteúdo, digite o tipo de conteúdo dos dados que o algoritmo espera para o canal.

      3. Para Tipo de compactação, escolha o tipo de compactação de dados a ser usado, se houver.

      4. Para Wrapper de registro, escolha RecordIO se o algoritmo espera dados no formato RecordIO.

      5. Para Tipo de dados do S3, Tipo de distribuição de dados do S3 e Localização do S3, especifique os valores apropriados. Para obter informações sobre o significado desses valores, consulte S3DataSource.

      6. Para Modo de entrada, escolha Arquivo para fazer download dos dados do volume de armazenamento de ML provisionado e montar o diretório em um volume do Docker. Escolha Pipe para transmitir dados diretamente do Amazon S3 para o contêiner.

      7. Para adicionar outro canal de entrada, escolha Adicionar canal. Se você terminou de adicionar canais de entrada, escolha Concluído.

   7. Para a localização da Saída, especifique os seguintes valores:

      1. Para Caminho de saída do S3, escolha a localização do S3 na qual o trabalho de treinamento armazena a saída, como artefatos de modelo.

         nota

         Você usa os artefatos de modelo armazenados nessa localização para criar um modelo ou um pacote de modelos a partir desse trabalho de treinamento.

      2. Para Chave de criptografia, se você quiser SageMaker usar uma AWS KMS chave para criptografar dados de saída em repouso no local do S3.

   8. Para Tags, especifique uma ou mais tags para gerenciar o trabalho de treinamento. Cada tag consiste em uma chave e um valor opcional. Chaves de tags devem ser exclusivas por recurso.

   9. Escolha Criar trabalho de treinamento para executar o trabalho de treinamento.

Usar um algoritmo para executar um trabalho de treinamento (API)

Para usar um algoritmo para executar um trabalho de treinamento usando a SageMaker API, especifique o nome ou o Amazon Resource Name (ARN) como o AlgorithmName campo do AlgorithmSpecificationobjeto para o qual você passa. CreateTrainingJob Para obter informações sobre modelos de treinamento em SageMaker, consulteTreine um modelo com a Amazon SageMaker.

Use um algoritmo para executar um trabalho de treinamento (Amazon SageMaker Python SDK)

Use um algoritmo que você criou ou assinou AWS Marketplace para criar um trabalho de treinamento, criar um AlgorithmEstimator objeto e especificar o Amazon Resource Name (ARN) ou o nome do algoritmo como o valor do algorithm_arn argumento. Em seguida, chame o método fit do estimador. Por exemplo: .

from sagemaker import AlgorithmEstimator
data_path = os.path.join(DATA_DIR, 'marketplace', 'training')

algo = AlgorithmEstimator(
algorithm_arn='arn:aws:sagemaker:us-east-2:012345678901:algorithm/my-algorithm',
        role='SageMakerRole',
        instance_count=1,
        instance_type='ml.c4.xlarge',
        sagemaker_session=sagemaker_session,
        base_job_name='test-marketplace')

train_input = algo.sagemaker_session.upload_data(
path=data_path, key_prefix='integ-test-data/marketplace/train')

algo.fit({'training': train_input})