Lacs de données Flywheel

Lorsque vous créez un volant, Amazon Comprehend crée un lac de données dans votre compte contenant toutes les données relatives au volant, telles que les données d'entrée et de sortie requises pour les versions du modèle.

Amazon Comprehend crée le lac de données à l'emplacement Amazon S3 que vous spécifiez lorsque vous créez le volant. Vous pouvez spécifier l'emplacement en tant que compartiment Amazon S3 ou en tant que nouveau dossier dans un compartiment Amazon S3.

Structure des dossiers du lac de données

Lorsqu'Amazon Comprehend crée le lac de données, il définit la structure de dossiers suivante dans l'emplacement Amazon S3.

Avertissement

Amazon Comprehend gère l'organisation et le contenu des dossiers du lac de données. Utilisez toujours les opérations de l'API Amazon Comprehend pour modifier les dossiers des lacs de données, sinon votre volant risque de ne pas fonctionner correctement.

  Document Pool
  Annotations Pool
  Staging
  Model Datasets
    (data for each version of the model)
    VersionID-1
      Training
      Test
      ModelStats
    VersionID-2
      Training
      Test
      ModelStats

Pour consulter l'évaluation de la formation d'une version du modèle, effectuez les opérations suivantes :

1. Ouvrez le dossier intitulé Model Datasets au niveau racine du lac de données. Ce dossier contient un sous-dossier pour chaque version du modèle.

2. Ouvrez le dossier correspondant à la version du modèle qui vous intéresse.

3. Ouvrez le dossier nommé ModelStatspour afficher les statistiques du modèle.

Gestion des lacs de données

Amazon Comprehend exécute les tâches suivantes pour gérer le lac de données en votre nom :

• Définit la structure des dossiers du lac de données et intègre les ensembles de données dans les dossiers appropriés.

• Gère les documents d'entrée (tels que les fichiers texte et les fichiers d'annotation) nécessaires à l'entraînement du modèle.

• Gère les données de sortie d'entraînement et d'évaluation associées à chaque version du modèle.

• Gère le chiffrement des fichiers stockés dans le lac de données.

Amazon Comprehend effectue toutes les opérations de création et de mise à jour des données pour le lac de données. Vous conservez un accès complet aux données du lac de données. Par exemple :

• Vous avez un accès complet au contenu du lac de données.

• Le lac de données reste disponible une fois que vous avez supprimé le volant.

• Vous pouvez configurer les journaux d'accès pour le compartiment Amazon S3 qui contient le lac de données.

• Vous pouvez fournir des clés de chiffrement pour les données. Vous les spécifiez lorsque vous créez le volant.

Nous recommandons les bonnes pratiques suivantes :

• N'ajoutez pas manuellement vos propres dossiers ou fichiers dans le lac de données. Ne modifiez ni ne supprimez aucun fichier dans le lac de données.

• Utilisez toujours les opérations de création et de mise à jour d'Amazon Comprehend pour ajouter ou modifier des données dans le lac de données. Par exemple, CreateDataset à utiliser pour fournir des données de formation ou de test et StartFlywheelIteration pour générer des données d'évaluation pour les versions du modèle.

• La structure du lac de données peut évoluer au fil du temps. Ne créez pas de scripts ou de programmes en aval qui s'appuient explicitement sur la structure du lac de données.

• Lorsque vous indiquez l'emplacement du lac de données pour le volant, nous vous recommandons de créer un préfixe commun pour les données relatives à tous les volants ou d'utiliser un préfixe différent pour chaque volant. Nous ne recommandons pas d'utiliser la trajectoire complète du lac de données d'un volant comme préfixe pour un autre volant.