Parâmetros usados para controlar o processo de exportação do Neptune

Se você estiver usando o serviço Neptune-Export ou o utilitário de linha de comando neptune-export, os parâmetros usados para controlar a exportação serão basicamente os mesmos. Eles contêm um objeto JSON transmitido ao endpoint Neptune-Export ou ao neptune-export na linha de comando.

O objeto transmitido ao processo de exportação tem até cinco campos de nível superior:

-d '{
      "command" : "(either export-pg or export-rdf)",
      "outputS3Path" : "s3:/(your Amazon S3 bucket)/(path to the folder for exported data)",
      "jobsize" : "(for Neptune-Export service only)",
      "params" : { (a JSON object that contains export-process parameters) },
      "additionalParams": { (a JSON object that contains parameters for training configuration) }
    }'

Sumário

• O parâmetro command
• O parâmetro outputS3Path
• O parâmetro jobSize
• O objeto params.
• O objeto additionalParams.
• Exportar campos de parâmetros no objeto JSON params de nível superior
  • Lista de campos possíveis no objeto params de parâmetros de exportação
    • Lista de campos comuns a todos os tipos de exportação
    • Lista de campos para exportação de grafos de propriedades
    • Lista de campos para exportações do RDF
  • Campos comuns a todos os tipos de exportação
    • Campo cloneCluster em params
    • Campo cloneClusterInstanceType em params
    • Campo cloneClusterReplicaCount em params
    • Campo clusterId em params
    • Campo endpoint em params
    • Campo endpoints em params
    • Campo profile em params
    • Campo useIamAuth em params
    • Campo includeLastEventId em params
  • Campos para exportação de grafos de propriedades
    • Campo concurrency em params
    • Campo edgeLabels em params
    • Campo filter em params
    • Campo filterConfigFile em params
    • Campo format usado para dados do grafo de propriedades em params
    • Campo gremlinFilter em params
    • Campo gremlinNodeFilter em params
    • Campo gremlinEdgeFilter em params
    • Campo nodeLabels em params
    • Campo scope em params
  • Campos para exportação do RDF
    • Campo format usado para dados do RDF em params
    • Campo rdfExportScope em params
    • Campo sparql em params
    • Campo namedGraph em params
• Exemplos de filtragem de dados exportados
  • Filtrar a exportação de dados do grafo de propriedades
    • Exemplo de uso de scope para exportar somente bordas
    • Exemplo de uso de nodeLabels e edgeLabels para exportar somente nós e bordas com rótulos específicos
    • Exemplo de uso de filter para exportar somente nós, bordas e propriedades especificados
    • Exemplo que usa gremlinFilter
    • Exemplo que usa gremlinNodeFilter
    • Exemplo que usa gremlinEdgeFilter
    • Combinando filter, gremlinNodeFilter, nodeLabels, edgeLabels e scope
  • Filtrar a exportação de dados do RDF
    • Usar rdfExportScope e sparql para exportar bordas específicas
    • Usando namedGraph para exportar um único gráfico nomeado

O parâmetro command

O parâmetro command de nível superior determina se os dados do grafo de propriedades ou os dados do RDF devem ser exportados. Se você omitir o parâmetro command, o processo de exportação assumirá como padrão a exportação de dados do grafo de propriedades.

• export-pg: exportar dados do grafo de propriedades.

• export-rdf: exportar dados do RDF.

O parâmetro outputS3Path

O parâmetro outputS3Path de nível superior é obrigatório e deve conter o URI de um local do Amazon S3 no qual os arquivos exportados possam ser publicados:

  "outputS3Path" : "s3://(your Amazon S3 bucket)/(path to output folder)"

O valor deve começar com s3://, seguido por um nome de bucket válido e, opcionalmente, um caminho de pasta dentro do bucket.

O parâmetro jobSize

O parâmetro jobSize de nível superior é usado somente com o serviço Neptune-Export, não com o utilitário de linha de comando neptune-export, e é opcional. Ele permite caracterizar o tamanho do trabalho de exportação que você está iniciando, o que ajuda a determinar a quantidade de recursos computacionais dedicados ao trabalho e o nível máximo de simultaneidade.

  "jobsize" : "(one of four size descriptors)"

Os quatro descritores de tamanho válidos são:

• small: máximo de simultaneidade: oito. Adequado para volumes de armazenamento de até 10 GB.

• medium: máximo de simultaneidade: 32. Adequado para volumes de armazenamento de até 100 GB.

• large: máximo de simultaneidade: 64. Adequado para volumes de armazenamento acima de 100 GB, mas menores que 1 TB.

• xlarge: máximo de simultaneidade: 96. Adequado para volumes de armazenamento acima de 1 TB.

Por padrão, uma exportação iniciada no serviço Neptune-Export é executada como um trabalho small.

O desempenho de uma exportação depende não apenas da configuração jobSize, mas também do número de instâncias de banco de dados das quais você está exportando, do tamanho de cada instância e do nível efetivo de simultaneidade do trabalho.

Para exportações de grafos de propriedades, é possível configurar o número de instâncias do banco de dados usando o parâmetro cloneClusterReplicaContagem e configurar o nível efetivo de simultaneidade do trabalho usando o parâmetro concurrency.

O objeto params.

O parâmetro params de nível superior é um objeto JSON que contém parâmetros usados para controlar o próprio processo de exportação, conforme explicado em Exportar campos de parâmetros no objeto JSON params de nível superior. Alguns dos campos no objeto params são específicos de exportações de grafos de propriedades, outros para RDF.

O objeto additionalParams.

O parâmetro additionalParams de nível superior é um objeto JSON com parâmetros que você pode usar para controlar ações aplicadas aos dados após a exportação. No momento, additionalParams é usado apenas para exportar dados de treinamento para o Neptune ML.