Traitement des données à l'aide de la commande dataprocessing - Amazon Neptune
Créer une tâche de traitement de donnéesObtenir le statut d'une tâcheArrêter une tâcheListe des tâches

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Traitement des données à l'aide de la commande dataprocessing

Vous utilisez la commande Neptune ML dataprocessing pour créer une tâche de traitement de données, vérifier son statut, l'arrêter ou répertorier toutes les tâches de traitement de données actives.

Création d'une tâche de traitement de données à l'aide de la commande Neptune ML dataprocessing

Une commande Neptune ML dataprocessing typique pour créer une nouvelle tâche ressemble à ceci :

curl \
  -X POST https://(your Neptune endpoint)/ml/dataprocessing \
  -H 'Content-Type: application/json' \
  -d '{
        "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for the new job)",
        "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)"
      }'

Une commande pour lancer un retraitement incrémentiel ressemble à ceci :

curl \
  -X POST https://(your Neptune endpoint)/ml/dataprocessing \
  -H 'Content-Type: application/json' \
  -d '{
        "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for this job)",
        "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)"
        "previousDataProcessingJobId" : "(the job ID of a previously completed job to update)"
}'
Paramètres de création d'une tâche dataprocessing

  • id : (facultatif) identifiant unique de la nouvelle tâche.

    Type : string. Valeur par défaut : un UUID généré automatiquement.

  • previousDataProcessingJobId : (facultatif) ID de tâche d'une tâche de traitement de données terminée, exécutée sur une version antérieure des données.

    Type : string. Valeur par défaut : aucune.

    Remarque : Utilisez-le pour le traitement incrémentiel des données, afin de mettre à jour le modèle quand les données du graphe ont changé (mais pas quand les données ont été supprimées).

  • inputDataS3Location : (obligatoire) URI de l'emplacement Amazon S3 où vous souhaitez que SageMaker télécharge les données nécessaires pour exécuter la tâche de traitement de données.

    Type : string.

  • processedDataS3Location : (obligatoire) URI de l'emplacement Amazon S3 où vous souhaitez que SageMaker enregistre les résultats d'une tâche de traitement de données.

    Type : string.

  • sagemakerIamRoleArn : (facultatif) ARN d'un rôle IAM pour l'exécution de SageMaker.

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • neptuneIamRoleArn : (facultatif) Amazon Resource Name (ARN) d'un rôle IAM que SageMaker peut endosser pour effectuer des tâches en votre nom.

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • processingInstanceType : (facultatif) type d'instance ML utilisé lors du traitement des données. Sa mémoire doit être suffisamment grande pour contenir le jeu de données traité.

    Type : string. Valeur par défaut : le plus petit type d'instance ml.r5 dont la mémoire est dix fois supérieure à la taille des données de graphe exportées sur le disque.

    Remarque : Neptune ML peut sélectionner le type d'instance automatiquement. Consultez Sélection d'une instance pour le traitement des données.

  • processingInstanceVolumeSizeInGB : (facultatif) taille du volume de disque de l'instance de traitement. Les données d'entrée et les données traitées étant toutes stockées sur disque, la taille du volume doit être suffisante pour contenir les deux jeux de données.

    Type : entier. Par défaut : 0.

    Remarque : Si ce paramètre n'est pas spécifié ou s'il est égal à 0, Neptune ML choisit automatiquement la taille du volume en fonction de la taille des données.

  • processingTimeOutInSeconds : (facultatif) délai d'expiration en secondes pour la tâche de traitement des données.

    Type : entier. Valeur par défaut : 86,400 (1 jour).

  • modelType : (facultatif) l'un des deux types de modèles actuellement pris en charge par Neptune ML : modèles de graphes hétérogènes (heterogeneous) et graphe de connaissances (kge).

    Type : string. Valeur par défaut : aucune.

    Remarque : Si ce paramètre n'est pas spécifié, Neptune ML choisit automatiquement le type de modèle en fonction des données.

  • configFileName : (facultatif) fichier de spécification de données qui décrit comment charger les données de graphe exportées à des fins d'entraînement. Ce fichier est automatiquement généré par la boîte à outils d'exportation Neptune.

    Type : string. Par défaut : training-data-configuration.json.

  • subnets : (facultatif) ID des sous-réseaux dans le VPC Neptune.

    Type : liste de chaînes. Valeur par défaut : aucune.

  • securityGroupIds : (facultatif) ID des groupes de sécurité du VPC.

    Type : liste de chaînes. Valeur par défaut : aucune.

  • volumeEncryptionKMSKey : (facultatif) clé AWS Key Management Service (AWS KMS) utilisée par SageMaker pour chiffrer les données sur le volume de stockage attaché aux instances de calcul ML qui exécutent la tâche de traitement.

    Type : string. Valeur par défaut : aucune.

  • enableInterContainerTrafficEncryption : (facultatif) activez ou désactivez le chiffrement du trafic entre conteneurs dans les tâches d'entraînement ou de réglage des hyperparamètres.

    Type : booléen. Valeur par défaut : True.

    Note

    Le paramètre enableInterContainerTrafficEncryption est disponible uniquement dans la version 1.2.0.2.R3 du moteur.

  • s3OutputEncryptionKMSKey : (facultatif) clé AWS Key Management Service (AWS KMS) utilisée par SageMaker pour chiffrer la sortie de la tâche d'entraînement.

    Type : string. Valeur par défaut : aucune.

Obtention du statut d'une tâche de traitement de données à l'aide de la commande Neptune ML dataprocessing

Voici un exemple de commande Neptune ML dataprocessing pour obtenir le statut d'une tâche :

curl -s \
  "https://(your Neptune endpoint)/ml/dataprocessing/(the job ID)" \
  | python -m json.tool
Paramètres d'obtention du statut de la tâche dataprocessing

  • id : (obligatoire) identifiant unique de la tâche de traitement de données.

    Type : string.

  • neptuneIamRoleArn : (facultatif) ARN d'un rôle IAM permettant à Neptune d'accéder aux ressources SageMaker et Amazon S3..

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

Arrêt d'une tâche de traitement de données à l'aide de la commande Neptune ML dataprocessing

Voici un exemple de commande Neptune ML dataprocessing permettant d'arrêter une tâche :

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/dataprocessing/(the job ID)"

Ou encore :

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/dataprocessing/(the job ID)?clean=true"
Paramètres d'arrêt de la tâche dataprocessing

  • id : (obligatoire) identifiant unique de la tâche de traitement de données.

    Type : string.

  • neptuneIamRoleArn : (facultatif) ARN d'un rôle IAM permettant à Neptune d'accéder aux ressources SageMaker et Amazon S3..

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • clean : (facultatif) cet indicateur spécifie que tous les artefacts Amazon S3 doivent être supprimés lorsque la tâche est arrêtée.

    Type : booléen. Par défaut : FALSE.

Répertorier les tâches de traitement de données actives à l'aide de la commande Neptune ML dataprocessing

Voici un exemple de commande Neptune ML dataprocessing permettant de répertorier les tâches actives :

curl -s "https://(your Neptune endpoint)/ml/dataprocessing"

Ou encore :

curl -s "https://(your Neptune endpoint)/ml/dataprocessing?maxItems=3"
Paramètres pour répertorier les tâches dataprocessing

  • maxItems : (facultatif) nombre maximal d'éléments à renvoyer.

    Type : entier. Par défaut : 10. Valeur maximale autorisée : 1024.

  • neptuneIamRoleArn : (facultatif) ARN d'un rôle IAM permettant à Neptune d'accéder aux ressources SageMaker et Amazon S3..

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.