Processar os dados de grafos exportados do Neptune para treinamento

A etapa de processamento de dados usa os dados de grafos do Neptune criados pelo processo de exportação e cria as informações que são usadas pela Deep Graph Library (DGL) durante o treinamento. Isso inclui a realização de vários mapeamentos e transformações de dados:

• Análise de nós e bordas para criar os arquivos de mapeamento de grafos e de ID exigidos pela DGL.

• Conversão das propriedades do nó e da borda nos atributos do nó e da borda exigidos pela DGL.

• Divisão dos dados em conjuntos de treinamento, validação e teste.

Gerenciamento da etapa de processamento de dados do Neptune ML.

Depois de exportar os dados do Neptune que você deseja usar para treinamento de modelos, é possível iniciar um trabalho de processamento de dados usando um comando curl (ou awscurl) como o seguinte:

curl \
  -X POST https://(your Neptune endpoint)/ml/dataprocessing \
  -H 'Content-Type: application/json' \
  -d '{
        "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for the new job)",
        "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)",
        "configFileName" : "training-job-configuration.json"
      }'

Os detalhes de como usar esse comando são explicados em O comando de processamento de dados, junto com informações sobre como obter o status de um trabalho em execução, como interrompê-lo e como listar todos os trabalhos em execução.

Processar dados de grafos atualizados para o Neptune ML

Também é possível fornecer um previousDataProcessingJobId à API para garantir que o novo trabalho de processamento de dados use o mesmo método de processamento de um trabalho anterior. Esse procedimento é necessário quando você deseja obter previsões para dados de grafos atualizados no Neptune, seja treinando novamente o modelo antigo nos novos dados ou recalculando os artefatos do modelo nos novos dados.

Faça isso usando um comando curl (ou awscurl) desta forma:

curl \
  -X POST https://(your Neptune endpoint)/ml/dataprocessing \
  -H 'Content-Type: application/json' \
  -d '{ "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for the new job)",
        "processedDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your output folder)",
        "previousDataProcessingJobId", "(the job ID of the previous data-processing job)"}'

Defina o valor do parâmetro previousDataProcessingJobId como o ID de trabalho do processamento de dados anterior correspondente ao modelo treinado.

nota

No momento, exclusões de nós no grafo atualizado não são aceitas. Se os nós tiverem sido removidos em um grafo atualizado, você precisará iniciar um trabalho de processamento de dados completamente novo em vez de usar previousDataProcessingJobId.