Réponses Neptune Loader Get-Status

Disposition de la réponse Get-Status du Neptune Loader JSON

La structure générale d'une réponse de statut du chargeur est la suivante :

{
    "status" : "200 OK",
    "payload" : {
        "feedCount" : [
            {
                "LOAD_FAILED" : number
            }
        ],
        "overallStatus" : {
            "fullUri" : "s3://bucket/key",
            "runNumber" : number,
            "retryNumber" : number,
            "status" : "string",
            "totalTimeSpent" : number,
            "startTime" : number,
            "totalRecords" : number,
            "totalDuplicates" : number,
            "parsingErrors" : number,
            "datatypeMismatchErrors" : number,
            "insertErrors" : number,
        },
        "failedFeeds" : [
            {
                "fullUri" : "s3://bucket/key",
                "runNumber" : number,
                "retryNumber" : number,
                "status" : "string",
                "totalTimeSpent" : number,
                "startTime" : number,
                "totalRecords" : number,
                "totalDuplicates" : number,
                "parsingErrors" : number,
                "datatypeMismatchErrors" : number,
                "insertErrors" : number,
            }
        ],
        "errors" : {
            "startIndex" : number,
            "endIndex" : number,
            "loadId" : "string,
            "errorLogs" : [ ]
        }
    }
}

Objets de réponse Neptune Loader Get-Status overallStatus et failedFeeds

Les réponses possibles renvoyées pour chaque flux ayant échoué, avec une description de l'erreur, sont les mêmes que pour l'objet overallStatus dans une réponse Get-Status.

Ces champs apparaissent dans l'objet overallStatus pour tous les chargements, et le champ failedFeeds pour chaque flux ayant échoué.

• fullUri— Le URI ou les fichiers à charger.

  Type : chaîne

  Format : s3://bucket/key.

• runNumber : nombre d'exécutions de ce chargement ou flux. Ce nombre est incrémenté lorsque le chargement est redémarré.

  Type : long non signé.

• retryNumber : nombre de nouvelles tentatives de ce chargement ou flux. Ce nombre est incrémenté lorsque le chargeur relance automatiquement un flux ou un chargement.

  Type : long non signé.

• status : statut renvoyé du chargement ou du flux. LOAD_COMPLETED indique la réussite du chargement, sans problèmes. Pour obtenir la liste des autres messages relatifs au statut du chargement, consultez Message d'erreur et de flux liés au chargeur Neptune.

  Type : chaîne

• totalTimeSpent : temps, en secondes, consacré à analyser et insérer les données pour le chargement ou le flux. N'inclut pas le temps consacré à l'extraction de la liste de fichiers source.

  Type : long non signé.

• totalRecords : nombre total d'enregistrements chargés ou de tentatives de chargement.

  Type : long non signé.

  Notez que lors du chargement à partir d'un CSV fichier, le nombre d'enregistrements ne fait pas référence au nombre de lignes chargées, mais plutôt au nombre d'enregistrements individuels contenus dans ces lignes. Prenons par exemple un petit CSV fichier comme celui-ci :

  ~id,~label,name,team
  'P-1','Player','Stokes','England'

  Neptune considérerait que ce fichier contient trois enregistrements, à savoir :

  P-1  label Player
  P-1  name  Stokes
  P-1  team  England

• totalDuplicates : nombre d'enregistrements en double détectés.

  Type : long non signé.

  Comme dans le cas du totalRecords décompte, cette valeur contient le nombre d'enregistrements individuels en double dans un CSV fichier, et non le nombre de lignes en double. Prenez ce petit CSV fichier, par exemple :

  ~id,~label,name,team
  P-2,Player,Kohli,India
  P-2,Player,Kohli,India

  Le statut renvoyé après le chargement ressemblerait à ceci, indiquant six enregistrements au total, dont trois sont des doublons :

  {
    "status": "200 OK",
    "payload": {
      "feedCount": [
        {
          "LOAD_COMPLETED": 1
        }
      ],
      "overallStatus": {
        "fullUri": "(the URI of the CSV file)",
        "runNumber": 1,
        "retryNumber": 0,
        "status": "LOAD_COMPLETED",
        "totalTimeSpent": 3,
        "startTime": 1662131463,
        "totalRecords": 6,
        "totalDuplicates": 3,
        "parsingErrors": 0,
        "datatypeMismatchErrors": 0,
        "insertErrors": 0
      }
    }
  }

  Pour les openCypher chargements, un doublon est compté lorsque :

  • Le chargeur détecte qu'une ligne d'un fichier de nœud possède un ID sans espace d'ID identique à une autre valeur d'ID sans espace d'ID, que ce soit sur une autre ligne ou appartenant à un nœud existant.

  • Le chargeur détecte qu'une ligne d'un fichier de nœud possède un ID avec un espace d'ID identique à une autre valeur d'ID avec un espace d'ID, que ce soit sur une autre ligne ou appartenant à un nœud existant.

  Consultez Considérations spéciales relatives au chargement openCypher des données.

• parsingErrors : nombre d'erreurs d'analyse détectées.

  Type : long non signé.

• datatypeMismatchErrors : nombre d'enregistrements avec un type de données qui ne correspond pas aux données fournies.

  Type : long non signé.

• insertErrors : nombre d'enregistrements qui n'ont pas pu être insérés en raison d'erreurs.

  Type : long non signé.

Objet de réponse Neptune Loader Get-Status errors

Les erreurs sont réparties dans les catégories suivantes :

• Error 400— Une loadId valeur non valide renvoie une erreur de demande HTTP 400 incorrecte. Le message décrit l'erreur.

• Error 500— Une demande valide qui ne peut pas être traitée renvoie une erreur HTTP 500 interne au serveur. Le message décrit l'erreur.

Consultez Message d'erreur et de flux liés au chargeur Neptune pour obtenir la liste des messages d'erreur et de flux renvoyés par le chargeur en cas d'erreur.

Lorsqu'une erreur se produit, un JSON errors objet est renvoyé dans BODY la réponse, avec les champs suivants :

• startIndex : index de la première erreur incluse.

  Type : long non signé.

• endIndex : index de la dernière erreur incluse.

  Type : long non signé.

• loadId : ID du chargement. Vous pouvez utiliser cet ID pour afficher les erreurs du chargement en définissant le paramètre errors sur TRUE.

  Type : chaîne

• errorLogs : liste des erreurs.

  Type : liste.

Objet de réponse Neptune Loader Get-Status errorLogs

L'objet errorLogs sous errors dans la réponse Get-Status du chargeur contient un objet décrivant chaque erreur à l'aide des champs suivants :

• errorCode : identifie la nature de l'erreur.

  Il peut avoir l'une des valeurs suivantes :

  • PARSING_ERROR

  • S3_ACCESS_DENIED_ERROR

  • FROM_OR_TO_VERTEX_ARE_MISSING

  • ID_ASSIGNED_TO_MULTIPLE_EDGES

  • SINGLE_CARDINALITY_VIOLATION

  • FILE_MODIFICATION_OR_DELETION_ERROR

  • OUT_OF_MEMORY_ERROR

  • INTERNAL_ERROR (renvoyé lorsque le chargeur en bloc ne parvient pas à déterminer le type d'erreur).

• errorMessage : message décrivant l'erreur.

  Il peut s'agir d'un message générique associé au code d'erreur ou d'un message spécifique contenant des détails, par exemple sur un sommet cible ou source manquant ou sur une erreur d'analyse.

• fileName : nom du flux.

• recordNum : dans le cas d'une erreur d'analyse, il s'agit du numéro dans le fichier de l'enregistrement qui n'a pas pu être analysé. Il correspond à zéro si le numéro d'enregistrement n'est pas applicable à l'erreur ou s'il n'a pas pu être déterminé.

Par exemple, le chargeur en bloc générerait une erreur d'analyse s'il rencontrait une ligne défectueuse telle que la suivante dans un RDF nquads fichier :

<http://base#subject> |http://base#predicate> <http://base#true> .

Comme vous pouvez le constater, le deuxième http de la ligne ci-dessus devrait être précédé de < au lieu de |. L'objet d'erreur généré sous errorLogs dans une réponse de statut ressemble à ceci :

{
    "errorCode" : "PARSING_ERROR",
    "errorMessage" : "Expected '<', found: |",
    "fileName" : "s3://bucket/key",
    "recordNum" : 12345
},