Réponses de Neptune Loader Get-Status - Amazon Neptune

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Réponses de Neptune Loader Get-Status

Disposition JSON de la réponse Get-Status de Neptune Loader

La présentation générale d'une réponse d'état du chargeur est la suivante :

{ "status" : "200 OK", "payload" : { "feedCount" : [ { "LOAD_FAILED" : number } ], "overallStatus" : { "fullUri" : "s3://bucket/key", "runNumber" : number, "retryNumber" : number, "status" : "string", "totalTimeSpent" : number, "startTime" : number, "totalRecords" : number, "totalDuplicates" : number, "parsingErrors" : number, "datatypeMismatchErrors" : number, "insertErrors" : number, }, "failedFeeds" : [ { "fullUri" : "s3://bucket/key", "runNumber" : number, "retryNumber" : number, "status" : "string", "totalTimeSpent" : number, "startTime" : number, "totalRecords" : number, "totalDuplicates" : number, "parsingErrors" : number, "datatypeMismatchErrors" : number, "insertErrors" : number, } ], "errors" : { "startIndex" : number, "endIndex" : number, "loadId" : "string, "errorLogs" : [ ] } } }

Obtenir l'état du chargeur NeptuneoverallStatusetfailedFeedsobjects de réponse

Les réponses possibles renvoyées pour chaque flux ayant échoué, y compris les descriptions des erreurs, sont les mêmes que pour leoverallStatusun objet dans unGet-StatusRéponse.

Les champs suivants apparaissent dans leoverallStatusobjet pour toutes les charges, etfailedFeedsobjet pour chaque flux défaillant :

  • fullUri — URI du ou des fichiers à charger.

    Type : chaîne

    Format : s3://bucket/key.

  • runNumber— Le numéro de course de cette charge ou de cette alimentation. Ce nombre est incrémenté lorsque le chargement est redémarré.

    Type : long non signé.

  • retryNumber— Le numéro de nouvelle tentative de ce chargement ou de ce flux. Ce nombre est incrémenté lorsque le chargeur relance automatiquement un flux ou un chargement.

    Type : long non signé.

  • status— L'état renvoyé de la charge ou de l'alimentation.LOAD_COMPLETEDindique un chargement réussi sans problème. Pour obtenir la liste des autres messages relatifs à l'état du chargement, voirMessage d'erreur et de flux liés au chargeur Neptune.

    Type : chaîne.

  • totalTimeSpent— Le temps, en secondes, passé à analyser et à insérer des données pour le chargement ou l'alimentation. N'inclut pas le temps consacré à l'extraction de la liste de fichiers source.

    Type : long non signé.

  • totalRecords— Nombre total d'enregistrements chargés ou tentés de charger.

    Type : long non signé.

    Notez que lors du chargement à partir d'un fichier CSV, le nombre d'enregistrements ne fait pas référence au nombre de lignes chargées, mais plutôt au nombre d'enregistrements individuels dans ces lignes. Par exemple, prenez un petit fichier CSV comme celui-ci :

    ~id,~label,name,team 'P-1','Player','Stokes','England'

    Neptune considérerait que ce fichier contient 3 enregistrements, à savoir :

    P-1 label Player P-1 name Stokes P-1 team England
  • totalDuplicates— Le nombre d'enregistrements dupliqués détectés.

    Type : long non signé.

    Comme dans le cas dutotalRecordscount, cette valeur contient le nombre d'enregistrements dupliqués individuels dans un fichier CSV, et non le nombre de lignes dupliquées. Prenez ce petit fichier CSV, par exemple :

    ~id,~label,name,team P-2,Player,Kohli,India P-2,Player,Kohli,India

    Le statut renvoyé après le chargement se présente comme suit, indiquant 6 enregistrements au total, dont 3 sont des doublons :

    { "status": "200 OK", "payload": { "feedCount": [ { "LOAD_COMPLETED": 1 } ], "overallStatus": { "fullUri": "(the URI of the CSV file)", "runNumber": 1, "retryNumber": 0, "status": "LOAD_COMPLETED", "totalTimeSpent": 3, "startTime": 1662131463, "totalRecords": 6, "totalDuplicates": 3, "parsingErrors": 0, "datatypeMismatchErrors": 0, "insertErrors": 0 } } }

    Pour les chargements OpenCypher, un doublon est compté lorsque :

    • Le chargeur détecte qu'une ligne d'un fichier de nœud possède un ID sans espace ID qui est identique à une autre valeur d'identifiant sans espace ID, soit dans une autre ligne, soit appartenant à un nœud existant.

    • Le chargeur détecte qu'une ligne d'un fichier de nœud possède un identifiant dont l'espace d'identification est identique à une autre valeur d'identifiant avec espace d'identification, soit dans une autre ligne, soit appartenant à un nœud existant.

    Consultez Considérations spéciales concernant le chargement de données OpenCypher.

  • parsingErrors— Le nombre d'erreurs d'analyse rencontrées.

    Type : long non signé.

  • datatypeMismatchErrors— Le nombre d'enregistrements dont le type de données ne correspond pas aux données données.

    Type : long non signé.

  • insertErrors— Le nombre d'enregistrements qui n'ont pas pu être insérés en raison d'erreurs.

    Type : long non signé.

Obtenir l'état du chargeur Neptuneerrorsobjet de réponse

Les erreurs sont réparties en plusieurs catégories :

  • Error 400— Un non valideloadIdrenvoie un HTTP400erreur de requête incorrecte. Le message décrit l'erreur.

  • Error 500— Une requête valide qui ne peut pas être traitée renvoie un HTTP500erreur interne du serveur. Le message décrit l'erreur.

VoirMessage d'erreur et de flux liés au chargeur Neptunepour obtenir la liste des messages d'erreur et de flux renvoyés par le chargeur en cas d'erreur.

Lorsqu'une erreur se produit, un JSONerrorsl'objet est renvoyé dans leBODYde la réponse, avec les champs suivants :

  • startIndex— L'indice de la première erreur incluse.

    Type : long non signé.

  • endIndex— L'index de la dernière erreur incluse.

    Type : long non signé.

  • loadId— ID de la charge. Vous pouvez utiliser cet ID pour afficher les erreurs du chargement en définissant le paramètre errors sur TRUE.

    Type : chaîne.

  • errorLogs— Une liste des erreurs.

    Type : liste.

Obtenir l'état du chargeur NeptuneerrorLogsobjet de réponse

Dans laerrorLogsobjet situé souserrorsdans le chargeur, la réponse Get-Status contient un objet décrivant chaque erreur à l'aide des champs suivants :

  • errorCode— Identifie la nature de l'erreur.

    Elle peut prendre l'une des valeurs suivantes :

    • PARSING_ERROR

    • S3_ACCESS_DENIED_ERROR

    • FROM_OR_TO_VERTEX_ARE_MISSING

    • ID_ASSIGNED_TO_MULTIPLE_EDGES

    • SINGLE_CARDINALITY_VIOLATION

    • FILE_MODIFICATION_OR_DELETION_ERROR

    • OUT_OF_MEMORY_ERROR

    • INTERNAL_ERROR(renvoyé lorsque le chargeur en vrac ne peut pas déterminer le type de l'erreur).

  • errorMessage— Un message décrivant l'erreur.

    Il peut s'agir d'un message générique associé au code d'erreur ou d'un message spécifique contenant des détails, par exemple sur un sommet départ/vers manquant ou sur une erreur d'analyse.

  • fileName— Le nom du flux.

  • recordNum— En cas d'erreur d'analyse, il s'agit du numéro d'enregistrement dans le fichier de l'enregistrement qui n'a pas pu être analysé. Il est mis à zéro si le numéro d'enregistrement n'est pas applicable à l'erreur ou s'il n'a pas pu être déterminé.

Par exemple, le chargeur en vrac générerait une erreur d'analyse s'il rencontrait une ligne défectueuse telle que la suivante dans un RDFnquadsfichier :

<http://base#subject> |http://base#predicate> <http://base#true> .

Comme vous pouvez le voir, le secondhttpdans la ligne ci-dessus doit être précédée par<plutôt que|. L'objet d'erreur qui en résulte souserrorLogsdans une réponse d'état se présente comme suit :

{ "errorCode" : "PARSING_ERROR", "errorMessage" : "Expected '<', found: |", "fileName" : "s3://bucket/key", "recordNum" : 12345 },