Création de jeux de données d’entraînement et de test avec des images

Vous pouvez commencer par un projet avec un seul jeu de données ou avec un jeu de données d’entraînement et un jeu de données de test distincts. Si vous commencez avec un seul jeu de données, Étiquettes personnalisées Amazon Rekognition fractionne le jeu de données pendant l’entraînement afin de créer un jeu de données d’entraînement (80 %) et un jeu de données de test (20 %) pour votre projet. Commencez par un seul jeu de données si vous souhaitez qu’Étiquettes personnalisées Amazon Rekognition détermine où les images sont utilisées pour l’entraînement et les tests. Pour un contrôle complet de l’entraînement, du test et du réglage des performances, nous vous recommandons de démarrer votre projet avec des jeux de données d’entraînement et de test distincts.

Pour créer des jeux de données d’entraînement et de test pour un projet, vous pouvez importer des images depuis l’un des emplacements suivants :

• Compartiment Amazon S3

• Ordinateur local

• Fichier manifeste

• Jeu de données

Si vous démarrez votre projet avec un jeu de données d’entraînement et un jeu de données de test distincts, vous pouvez utiliser des emplacements source différents pour chacun d’eux.

Selon leur provenance, vos images peuvent ne pas être étiquetées. Par exemple, les images importées à partir d’un ordinateur local ne sont pas étiquetées. Les images importées depuis un fichier manifeste Amazon SageMaker Ground Truth sont étiquetées. Vous pouvez utiliser la console Étiquettes personnalisées Amazon Rekognition pour ajouter, modifier et attribuer des étiquettes. Pour plus d’informations, consultez Étiquetage des images.

Si les images sont chargées avec des erreurs, si des images sont manquantes ou si des étiquettes sont absentes des images, lisez Débogage d’un entraînement de modèle en échec.

Pour plus d’informations sur les jeux de données, consultez Gestion des jeux de données.

Création de jeux de données d’entraînement et de test (kit SDK)

Vous pouvez utiliser le AWS SDK pour créer des ensembles de données d'entraînement et de test.

L'CreateDatasetopération vous permet de spécifier éventuellement des balises lors de la création d'un nouvel ensemble de données, dans le but de catégoriser et de gérer vos ressources.

Jeu de données d’entraînement

Vous pouvez utiliser le AWS SDK pour créer un ensemble de données d'entraînement de la manière suivante.

• CreateDatasetÀ utiliser avec un fichier manifeste au format Amazon Sagemaker que vous fournissez. Pour plus d’informations, consultez Création d’un fichier manifeste. Pour obtenir un exemple de code, consultez Création d'un jeu de données à l'aide d'un fichier manifeste (SDK) SageMaker Ground Truth.

• Utilisez CreateDataset pour copier un jeu de données Étiquettes personnalisées Amazon Rekognition existant. Pour obtenir un exemple de code, consultez Création d'un jeu de données à l'aide d'un jeu de données existant (SDK).

• Créez un jeu de données vide avec CreateDataset et ajoutez-y des entrées de jeu de données ultérieurement avec UpdateDatasetEntries. Pour créer un jeu de données vide, consultez Ajouter un jeu de données à un projet. Pour ajouter des images à un jeu de données, consultez Ajouter d'autres images (SDK). Vous devez ajouter les entrées du jeu de données avant de pouvoir entraîner un modèle.

Jeu de données de test

Vous pouvez utiliser le AWS SDK pour créer un ensemble de données de test de la manière suivante :

• CreateDatasetÀ utiliser avec un fichier manifeste au format Amazon Sagemaker que vous fournissez. Pour plus d’informations, consultez Création d’un fichier manifeste. Pour obtenir un exemple de code, consultez Création d'un jeu de données à l'aide d'un fichier manifeste (SDK) SageMaker Ground Truth.

• Utilisez CreateDataset pour copier un jeu de données Étiquettes personnalisées Amazon Rekognition existant. Pour obtenir un exemple de code, consultez Création d'un jeu de données à l'aide d'un jeu de données existant (SDK).

• Créez un jeu de données vide avec CreateDataset, puis ajoutez les entrées du jeu de données ultérieurement avec UpdateDatasetEntries. Pour créer un jeu de données vide, consultez Ajouter un jeu de données à un projet. Pour ajouter des images à un jeu de données, consultez Ajouter d'autres images (SDK). Vous devez ajouter les entrées du jeu de données avant de pouvoir entraîner un modèle.

• Fractionnez le jeu de données d’entraînement en un jeu de données d’entraînement et un jeu de données de test distincts. Créez d’abord un jeu de données de test vide avec CreateDataset. Déplacez ensuite 20 % des entrées du jeu de données d'entraînement dans le jeu de données de test en appelant DistributeDatasetEntries. Pour créer un jeu de données vide, consultez Ajouter un jeu de données à un projet (SDK). Pour fractionner le jeu de données d’entraînement, consultez Distribution d'un jeu de données d'entraînement (SDK).