Paramètres utilisés pour contrôler le processus d'exportation de Neptune

Que vous utilisiez le service Neptune-Export ou l'utilitaire de ligne deneptune-export commande, les paramètres que vous utilisez pour contrôler l'exportation sont généralement les mêmes. Ils contiennent un objet JSON transmis au point de terminaison Neptune-Export ouneptune-export via la ligne de commande.

L'objet transmis au processus d'exportation comporte jusqu'à cinq champs de niveau supérieur :

-d '{
      "command" : "(either export-pg or export-rdf)",
      "outputS3Path" : "s3:/(your Amazon S3 bucket)/(path to the folder for exported data)",
      "jobsize" : "(for Neptune-Export service only)",
      "params" : { (a JSON object that contains export-process parameters) },
      "additionalParams": { (a JSON object that contains parameters for training configuration) }
    }'

Table des matières

• Paramètre command
• Paramètre outputS3Path
• Paramètre jobSize
• L'paramsobjet
• L'additionalParamsobjet
• Exporter les champs de paramètres dans l'objet JSON deparams niveau supérieur
  • Liste des champs possibles dans l'paramsobjet de paramètres d'exportation
    • Liste des champs communs à tous les types d'export
    • Liste des champs pour les exportations de graphes de propriétés
    • Liste des champs pour les exportations RDF
  • Champs communs à tous les types d'exportation
    • cloneClusterchamp dansparams
    • cloneClusterInstanceTypechamp dansparams
    • cloneClusterReplicaCountchamp dansparams
    • clusterIdchamp dansparams
    • endpointchamp dansparams
    • endpointschamp dansparams
    • profilechamp dansparams
    • useIamAuthchamp dansparams
    • includeLastEventIdchamp dansparams
  • Champs pour l'exportation de graphes de propriétés
    • concurrencychamp dansparams
    • edgeLabelschamp dansparams
    • filterchamp dansparams
    • filterConfigFilechamp dansparams
    • formatchamp utilisé pour les données du graphe de propriétés dansparams
    • gremlinFilterchamp dansparams
    • gremlinNodeFilterchamp dansparams
    • gremlinEdgeFilterchamp dansparams
    • nodeLabelschamp dansparams
    • scopechamp dansparams
  • Champs pour l'exportation RDF
    • formatchamp utilisé pour les données RDF dansparams
    • rdfExportScopechamp dansparams
    • sparqlchamp dansparams
• Exemples de filtrage de ce qui est exporté
  • Filtrage de l'exportation des données du graphe de propriétés
    • Exemple d'utilisationscope pour exporter uniquement les arêtes
    • Exemple d'utilisationnodeLabels etedgeLabels d'exportation uniquement de nœuds et d'arêtes portant des étiquettes spécifiques
    • Exemple d'utilisationfilter pour exporter uniquement des nœuds, des arêtes et des propriétés spécifiés
    • Exemple qui utilisegremlinFilter
    • Exemple qui utilisegremlinNodeFilter
    • Exemple qui utilisegremlinEdgeFilter
    • CombinerfiltergremlinNodeFilter,nodeLabels,edgeLabels etscope
  • Filtrer l'exportation de données RDF
    • UtiliserrdfExportScope etsparql exporter des arêtes spécifiques

Paramètre command

Le paramètrecommand de niveau supérieur détermine s'il faut exporter des données du graphe de propriétés ou des données RDF. Si vous omettez lecommand paramètre, le processus d'exportation exporte par défaut les données du graphe de propriétés.

• export-pg— Exporte les données du graphe de propriétés.

• export-rdf— Exporte des données RDF.

Paramètre outputS3Path

Le paramètreoutputS3Path de niveau supérieur est obligatoire et doit contenir l'URI d'un emplacement Amazon S3 vers lequel les fichiers exportés peuvent être publiés :

  "outputS3Path" : "s3://(your Amazon S3 bucket)/(path to output folder)"

La valeur doit commencer pars3://, suivie d'un nom de compartiment valide et éventuellement d'un chemin de dossier dans le compartiment.

Paramètre jobSize

Le paramètrejobSize de niveau supérieur est uniquement utilisé avec le service Neptune-Export, et non avec l'utilitaire de ligne deneptune-export commande, et est facultatif. Il vous permet de caractériser la taille de la tâche d'exportation que vous lancez, ce qui permet de déterminer la quantité de ressources de calcul consacrées à la tâche et son niveau maximal de simultanéité.

  "jobsize" : "(one of four size descriptors)"

Les quatre descripteurs de taille valides sont les suivants :

• small— Simultanéité maximale : 8. Exportation de la batterie jusqu'à 10 Go.

• medium— Simultanéité maximale : 32. Convient aux volumes de stockage jusqu'à 100 Go.

• large— Simultanéité maximale : 64. Convient aux volumes de stockage supérieurs à 100 Go mais inférieurs à 1 To.

• xlarge— Simultanéité maximale : 96. Convient aux volumes de stockage supérieurs à 1 To.

Par défaut, une exportation initiée sur le service Neptune-Export s'exécute comme unesmall tâche.

Les performances d'une exportation dépendent non seulement dujobSize paramètre, mais également du nombre d'instances de base de données à partir desquelles vous exportez, de la taille de chaque instance et du niveau de simultanéité effectif de la tâche.

Pour les exportations de graphes de propriétés, vous pouvez configurer le nombre d'instances de base de données à l'aide ducloneClusterReplicaCompter paramètre, et vous pouvez configurer le niveau de simultanéité effectif de la tâche à l'aide dusimultanéité paramètre.

L'paramsobjet

Le paramètreparams de niveau supérieur est un objet JSON qui contient les paramètres que vous utilisez pour contrôler le processus d'exportation lui-même, comme expliqué dansExporter les champs de paramètres dans l'objet JSON deparams niveau supérieur. Certains champs de l'paramsobjet sont spécifiques aux exportations de graphes de propriétés, d'autres au format RDF.

L'additionalParamsobjet

Le paramètreadditionalParams de niveau supérieur est un objet JSON qui contient des paramètres que vous pouvez utiliser pour contrôler les actions appliquées aux données après leur exportation. Actuellement, n'additionalParamsest utilisé que pour exporter des données d'entraînement pour Neptune ML.