Parámetros utilizados para controlar el proceso de exportación de Neptune

Tanto si utiliza el servicio Neptune-Export como la utilidad de línea de comandos neptune-export, los parámetros que utiliza para controlar la exportación son prácticamente los mismos. Contienen un objeto JSON que se pasa al punto de conexión de Neptune-Export o a neptune-export en la línea de comandos.

El objeto transferido al proceso de exportación tiene hasta cinco campos de nivel superior:

-d '{
      "command" : "(either export-pg or export-rdf)",
      "outputS3Path" : "s3:/(your Amazon S3 bucket)/(path to the folder for exported data)",
      "jobsize" : "(for Neptune-Export service only)",
      "params" : { (a JSON object that contains export-process parameters) },
      "additionalParams": { (a JSON object that contains parameters for training configuration) }
    }'

Contenido

• Parámetro command
• Parámetro outputS3Path
• Parámetro jobSize
• El objeto params
• El objeto additionalParams
• Exporte campos de parámetros en el objeto JSON de nivel superior params
  • Lista de campos posibles en el objeto params de parámetros de exportación
    • Lista de campos comunes a todos los tipos de exportaciones
    • Lista de campos para la exportación de gráficos de propiedades
    • Lista de campos para exportaciones RDF
  • Campos comunes a todos los tipos de exportaciones
    • Campo cloneCluster en params
    • Campo cloneClusterInstanceType en params
    • Campo cloneClusterReplicaCount en params
    • Campo clusterId en params
    • Campo endpoint en params
    • Campo endpoints en params
    • Campo profile en params
    • Campo useIamAuth en params
    • Campo includeLastEventId en params
  • Campos para la exportación de gráficos de propiedades
    • Campo concurrency en params
    • Campo edgeLabels en params
    • Campo filter en params
    • Campo filterConfigFile en params
    • Campo format que se utiliza para los datos del gráfico de propiedades en params
    • Campo gremlinFilter en params
    • Campo gremlinNodeFilter en params
    • Campo gremlinEdgeFilter en params
    • Campo nodeLabels en params
    • Campo scope en params
  • Campos para la exportación RDF
    • Campo format utilizado para los datos RDF en params
    • Campo rdfExportScope en params
    • Campo sparql en params
    • Campo namedGraph en params
• Ejemplos de filtrado de lo que se exporta
  • Filtrado de la exportación de datos de gráficos de propiedades
    • Ejemplo de uso de scope para exportar solo bordes
    • Ejemplo de uso de nodeLabels y edgeLabels para exportar únicamente nodos y bordes con etiquetas específicas
    • Ejemplo de uso defilter para exportar solo nodos, bordes y propiedades específicos
    • En este ejemplo, se utiliza gremlinFilter.
    • En este ejemplo, se utiliza gremlinNodeFilter.
    • En este ejemplo, se utiliza gremlinEdgeFilter .
    • Combinación de filter, gremlinNodeFilter, nodeLabels, edgeLabels y scope
  • Filtrado de la exportación de datos RDF
    • Uso de rdfExportScope y sparql para exportar bordes específicos
    • Se utiliza namedGraph para exportar un gráfico con un solo nombre

Parámetro command

El parámetro de nivel superior command determina si se deben exportar datos de gráficos de propiedades o datos RDF. Si omite el parámetro command, el proceso de exportación exportará de forma predeterminada los datos del gráfico de propiedades.

• export-pg: exporta datos de gráficos de propiedades.

• export-rdf: exporta los datos RDF.

Parámetro outputS3Path

El parámetro de nivel superior outputS3Path es obligatorio y debe contener el URI de una ubicación de Amazon S3 en la que se puedan publicar los archivos exportados:

  "outputS3Path" : "s3://(your Amazon S3 bucket)/(path to output folder)"

El valor debe empezar por s3://, seguido de un nombre de bucket válido y, opcionalmente, de una ruta de carpeta dentro del bucket.

Parámetro jobSize

El parámetro de nivel superior jobSize solo se usa con el servicio Neptune-Export, no con la utilidad de línea de comandos neptune-export, y es opcional. Le permite caracterizar el tamaño del trabajo de exportación que está iniciando, lo que ayuda a determinar la cantidad de recursos de computación dedicados al trabajo y su nivel máximo de simultaneidad.

  "jobsize" : "(one of four size descriptors)"

Los cuatro descriptores de tamaño válidos son:

• small: simultaneidad máxima: 8. Adecuado para volúmenes de almacenamiento de hasta 10 GB.

• medium: simultaneidad máxima: 32. Adecuado para volúmenes de almacenamiento de hasta 100 GB.

• large: simultaneidad máxima: 64. Adecuado para volúmenes de almacenamiento superiores a 100 GB pero inferiores a 1 TB.

• xlarge: simultaneidad máxima: 96. Adecuado para volúmenes de almacenamiento superiores a 1 TB.

De forma predeterminada, una exportación iniciada en el servicio Neptune-Export se ejecuta como un trabajo small.

El rendimiento de una exportación depende no solo de la configuración de jobSize, sino también del número de instancias de base de datos desde las que se exporta, del tamaño de cada instancia y del nivel de simultaneidad efectivo del trabajo.

Para las exportaciones de gráficos de propiedades, puede configurar el número de instancias de base de datos mediante el parámetro cloneClusterReplicaContar y puede configurar el nivel de simultaneidad efectivo del trabajo mediante el parámetro concurrency.

El objeto params

El parámetro de nivel superior params es un objeto JSON que contiene parámetros que se utilizan para controlar el propio proceso de exportación, como se explica en Exporte campos de parámetros en el objeto JSON de nivel superior params. Algunos de los campos del objeto params son específicos de las exportaciones de gráficos de propiedades y otros de RDF.

El objeto additionalParams

El parámetro de nivel superior additionalParams es un objeto JSON que contiene parámetros que puede utilizar para controlar las acciones que se aplican a los datos una vez exportados. En la actualidad, additionalParams solo se usa para exportar datos de entrenamiento para Neptune ML.