Como criar conjuntos de dados de treinamento e teste com imagens

É possível iniciar com um projeto que tenha um único conjunto de dados ou um projeto que tenha conjuntos de dados de treinamento e teste separados. Se você começar com um único conjunto de dados, o Amazon Rekognition Custom Labels divide seu conjunto de dados durante o treinamento para criar um conjunto de dados de treinamento (80%) e um conjunto de dados de teste (20%) para seu projeto. Comece com um único conjunto de dados se quiser que o Amazon Rekognition Custom Labels decida onde as imagens serão usadas para treinamento e teste. Para ter controle total sobre o treinamento, teste e ajuste de desempenho, recomendamos que você inicie seu projeto com os conjuntos de dados de treinamento e teste separados.

É possível criar conjuntos de dados de treinamento e teste para um projeto importando imagens de um dos seguintes locais:

• Bucket do Amazon S3

• Computador local

• Arquivo manifesto

• Conjunto de dados existente

Se iniciar seu projeto com conjuntos de dados de treinamento e teste separados, poderá usar locais de origem diferentes para cada conjunto de dados.

Dependendo de onde você importa suas imagens, elas podem não estar rotuladas. Por exemplo, imagens importadas de um computador local não estão rotuladas. As imagens importadas de um arquivo de manifesto SageMaker do Amazon Ground Truth são rotuladas. É possível usar o console do Amazon Rekognition Custom Labels para adicionar, alterar e atribuir rótulos. Para ter mais informações, consulte Rotulagem de imagens.

Se as imagens estiverem sendo carregadas com erros, se faltarem imagens ou se faltarem rótulos nas imagens, leia Como depurar um treinamento de modelo em falha.

Para obter mais informações sobre conjuntos de dados, consulte Como gerenciar conjuntos de dados.

Crie conjuntos de dados de treinamento e teste (SDK)

Você pode usar o AWS SDK para criar conjuntos de dados de treinamento e teste.

A CreateDataset operação permite que você opcionalmente especifique tags ao criar um novo conjunto de dados, com o objetivo de categorizar e gerenciar seus recursos.

Conjunto de dados de trenaimento

Você pode usar o AWS SDK para criar um conjunto de dados de treinamento das seguintes formas.

• Use CreateDatasetcom um arquivo de manifesto no formato Amazon Sagemaker fornecido por você. Para ter mais informações, consulte Criar um arquivo de manifesto. Para ver um código demonstrativo, consulte Criação de um conjunto de dados com um arquivo de manifesto (SDK) do SageMaker Ground Truth.

• Use CreateDataset para copiar um conjunto de dados existente do Amazon Rekognition Custom Labels. Para ver um código demonstrativo, consulte Como criar um conjunto de dados usando um conjunto de dados existente.

• Crie um conjunto de dados vazio com CreateDataset e adicione entradas do conjunto de dados posteriormente com. UpdateDatasetEntries Para criar um conjunto de dados vazio, consulte Como adicionar um conjunto de dados a um projeto. Para adicionar imagens a um conjunto de dados, consulte Como adicionar mais imagens (SDK). É necessário adicionar as entradas do conjunto de dados antes de treinar um modelo.

Conjunto de dados de teste

Você pode usar o AWS SDK para criar um conjunto de dados de teste das seguintes formas:

• Use CreateDatasetcom um arquivo de manifesto no formato Amazon Sagemaker fornecido por você. Para ter mais informações, consulte Criar um arquivo de manifesto. Para ver um código demonstrativo, consulte Criação de um conjunto de dados com um arquivo de manifesto (SDK) do SageMaker Ground Truth.

• Use CreateDataset para copiar um conjunto de dados existente do Amazon Rekognition Custom Labels. Para ver um código demonstrativo, consulte Como criar um conjunto de dados usando um conjunto de dados existente.

• Crie um conjunto de dados vazio com CreateDataset e adicione entradas do conjunto de dados posteriormente com UpdateDatasetEntries. Para criar um conjunto de dados vazio, consulte Como adicionar um conjunto de dados a um projeto. Para adicionar imagens a um conjunto de dados, consulte Como adicionar mais imagens (SDK). É necessário adicionar as entradas do conjunto de dados antes de treinar um modelo.

• Divida o conjunto de dados de treinamento em conjuntos de dados de treinamento e teste separados. Primeiro, crie um conjunto de dados de teste vazio com CreateDataset. Em seguida, mova 20% das entradas do conjunto de dados de treinamento para o conjunto de dados de teste ligando. DistributeDatasetEntries Para criar um conjunto de dados vazio, consulte Como adicionar um conjunto de dados a um projeto (SDK). Para dividir o conjunto de dados de treinamento, consulte Como distribuir um conjunto de dados de treinamento (SDK).