API Visual Job di AWS Glue

AWS Glue fornisce un'API che permette ai clienti di creare processi di integrazione dei dati utilizzando l'API AWS Glue di un oggetto JSON che rappresenta un DAG. I clienti possono quindi utilizzare l'editor visivo in AWS Glue Studio per lavorare con questi processi.

Per ulteriori informazioni sui tipi di dati di Visual Job API, consulta API Visual Job.

Progettazione di API e CRUD APIs

La CreateJob e UpdateJob APIs ora supporta un parametro opzionale aggiuntivo, codeGenConfiguration Nodes. Fornire una struttura json non vuota per questo campo comporterà la registrazione del gruppo di disponibilità del database in AWS Glue Studio per il processo creato e per il codice associato generato. Un valore nullo o una stringa vuota per questo campo durante la creazione di processi verrà ignorato.

Gli aggiornamenti al campo codeGenConfiguration Nodes verranno eseguiti tramite l' UpdateJob AWS GlueAPI in modo simile a CreateJob. L'intero campo deve essere specificato nel UpdateJob punto in cui il DAG è stato modificato come desiderato. Un valore nullo fornito verrà ignorato e non verrà eseguito alcun aggiornamento del DAG. Una struttura o una stringa vuota farà sì che i codeGenConfiguration nodi vengano impostati come vuoti e qualsiasi DAG precedente venga rimosso. L' GetJob API restituirà un DAG, se ne esiste uno. L' DeleteJob API eliminerà anche qualsiasi DAG associato.

Nozioni di base

Per creare un lavoro, usa l' CreateJob azione. L'input della CreateJob richiesta avrà un campo aggiuntivo 'codeGenConfigurationNodes' in cui è possibile specificare l'oggetto DAG in JSON.

Cose da tenere a mente:

• Il campo 'codeGenConfigurationNodes' è una mappa da nodeID a nodo.

• Ciascun nodo inizia con una chiave che ne identifica il tipo.

• È possibile specificare una sola chiave, poiché un nodo può essere di un solo tipo.

• Il campo di input contiene i nodi padre del nodo corrente.

Di seguito è riportata una rappresentazione JSON di un input. CreateJob

{
  "node-1": {
    "S3CatalogSource": {
      "Table": "csvFormattedTable",
      "PartitionPredicate": "",
      "Name": "S3 bucket",
      "AdditionalOptions": {},
      "Database": "myDatabase"
    }
  },
  "node-3": {
    "S3DirectTarget": {
      "Inputs": ["node-2"],
      "PartitionKeys": [],
      "Compression": "none",
      "Format": "json",
      "SchemaChangePolicy": { "EnableUpdateCatalog": false },
      "Path": "",
      "Name": "S3 bucket"
    }
  },
  "node-2": {
    "ApplyMapping": {
      "Inputs": ["node-1"],
      "Name": "ApplyMapping",
      "Mapping": [
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader1",
          "FromPath": ["myheader1"]
        },
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader2",
          "FromPath": ["myheader2"]
        },
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader3",
          "FromPath": ["myheader3"]
        }
      ]
    }
  }
}   
            

Aggiornamento e acquisizione di processi

Poiché UpdateJobavrà anche un campo 'codeGenConfigurationNodes', il formato di input sarà lo stesso. Vedi UpdateJobAzione.

L'GetJobazione restituirà anche un campo codeGenConfiguration 'Nodes' nello stesso formato. Vedi GetJobAzione.

Limitazioni Visual job

Poiché il parametro 'codeGenConfigurationNodes' è stato aggiunto a quello esistente APIs, eventuali limitazioni APIs verranno ereditate. Inoltre, i codeGenConfiguration nodi e alcuni nodi avranno dimensioni limitate. Per ulteriori informazioni, consulta Struttura processo.