Traitement des données graphiques exportées depuis Neptune pour une formation - Amazon Neptune

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Traitement des données graphiques exportées depuis Neptune pour une formation

L'étape de traitement des données prend les données du graphe Neptune créées par le processus d'exportation et crée les informations utilisées par leBibliothèque Deep Graph (DGL)pendant l'entraînement. Cela inclut la réalisation de différents mappages et transformations de données :

  • Analyse des nœuds et des arêtes pour construire les fichiers de mappage de graphiques et d'ID requis par DGL.

  • Conversion des propriétés de nœud et de périphérie en entités de nœud et de périphérie requises par DGL.

  • Diviser les données en jeux d'entraînement, de validation et de test.

Gestion de l'étape de traitement des données pour Neptune ML

Une fois que vous avez exporté les données de Neptune que vous souhaitez utiliser pour la formation sur les modèles, vous pouvez démarrer une tâche de traitement de données à l'aide d'uncurl(ouawscurl) comme suit :

curl \ -X POST https://(your Neptune endpoint)/ml/dataprocessing \ -H 'Content-Type: application/json' \ -d '{ "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)", "id" : "(a job ID for the new job)", "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)", "configFileName" : "training-job-configuration.json" }'

Les détails sur l'utilisation de cette commande sont expliqués dansLa commande de traitement des données, ainsi que des informations sur la façon d'obtenir le statut d'une tâche en cours d'exécution, comment arrêter une tâche en cours et comment répertorier toutes les tâches en cours d'exécution.

Traitement des données graphiques mises à jour pour Neptune ML

Vous pouvez également fournir unpreviousDataProcessingJobIdvers l'API pour s'assurer que le nouveau travail de traitement des données utilise la même méthode de traitement qu'une tâche précédente. Cela est nécessaire lorsque vous souhaitez obtenir des prévisions pour des données graphiques mises à jour dans Neptune, soit en recyclant l'ancien modèle sur les nouvelles données, soit en recalculant les artefacts du modèle sur les nouvelles données.

Pour ce faire, vous devez utiliser uncurl(ouawscurl) commande comme celle-ci :

curl \ -X POST https://(your Neptune endpoint)/ml/dataprocessing \ -H 'Content-Type: application/json' \ -d '{ "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)", "id" : "(a job ID for the new job)", "processedDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your output folder)", "previousDataProcessingJobId", "(the job ID of the previous data-processing job)"}'

Définissez la valeur dupreviousDataProcessingJobIdà l'ID de tâche de la tâche précédente de traitement des données qui correspond au modèle formé.

Note

Les suppressions de nœuds dans le graphique mis à jour ne sont actuellement pas prises en charge. Si des nœuds ont été supprimés dans un graphique mis à jour, vous devez commencer un travail de traitement de données complètement nouveau plutôt que d'utiliserpreviousDataProcessingJobId.