Visuelle AWS Glue-Auftrags-API

AWS Glue bietet eine API, die es Kunden ermöglicht, Datenintegrationsaufträge mit der AWS Glue-API von einem JSON-Objekt zu erstellen, das einen visuellen Schritt-Workflow darstellt. Kunden können den visuellen Editor dann in AWS Glue Studio verwenden, um mit diesen Aufträgen zu arbeiten.

Weitere Informationen zu den Datentypen der Visual Job API finden Sie unter Visual Job API.

API-Design und CRUD APIs

Die CreateJob und unterstützen UpdateJob APIs jetzt einen zusätzlichen optionalen Parameter, codeGenConfiguration Nodes. Die Bereitstellung einer nicht leeren JSON-Struktur für dieses Feld führt dazu, dass die DAG für den erstellten Auftrag und den zugehörigen Code in AWS Glue Studio registriert wird, der generiert wird. Ein Nullwert oder eine leere Zeichenfolge für dieses Feld bei der Auftragserstellung wird ignoriert.

Aktualisierungen des codeGenConfiguration Nodes-Felds werden über die UpdateJob AWS Glue API auf ähnliche Weise wie vorgenommen CreateJob. Das gesamte Feld sollte in dem Feld angegeben werden UpdateJob , in dem die DAG wie gewünscht geändert wurde. Ein bereitgestellter Nullwert wird ignoriert und es würde keine Aktualisierung der DAG durchgeführt. Eine leere Struktur oder Zeichenfolge führt dazu, dass die codeGenConfiguration Knoten als leer gesetzt und alle vorherigen DAG-Dateien entfernt werden. Die GetJob API gibt eine DAG zurück, falls eine existiert. Die DeleteJob API löscht auch alle zugehörigen DAG.

Erste Schritte

Verwenden Sie die CreateJob Aktion, um einen Job zu erstellen. Die CreateJob Anforderungseingabe wird ein zusätzliches Feld 'codeGenConfigurationKnoten' enthalten, in dem Sie das DAG-Objekt in JSON angeben können.

Beachten Sie die folgenden Dinge:

• Das Feld 'codeGenConfigurationNodes' ist eine Zuordnung von NodeID zu Knoten.

• Jeder Knoten beginnt mit einem Schlüssel, der angibt, um welche Art von Knoten es sich handelt.

• Es kann nur ein Schlüssel angegeben werden, da ein Knoten nur einen Typ haben kann.

• Das Eingabefeld enthält die übergeordneten Knoten des aktuellen Knotens.

Das Folgende ist eine JSON-Darstellung einer Eingabe. CreateJob

{
  "node-1": {
    "S3CatalogSource": {
      "Table": "csvFormattedTable",
      "PartitionPredicate": "",
      "Name": "S3 bucket",
      "AdditionalOptions": {},
      "Database": "myDatabase"
    }
  },
  "node-3": {
    "S3DirectTarget": {
      "Inputs": ["node-2"],
      "PartitionKeys": [],
      "Compression": "none",
      "Format": "json",
      "SchemaChangePolicy": { "EnableUpdateCatalog": false },
      "Path": "",
      "Name": "S3 bucket"
    }
  },
  "node-2": {
    "ApplyMapping": {
      "Inputs": ["node-1"],
      "Name": "ApplyMapping",
      "Mapping": [
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader1",
          "FromPath": ["myheader1"]
        },
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader2",
          "FromPath": ["myheader2"]
        },
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader3",
          "FromPath": ["myheader3"]
        }
      ]
    }
  }
}   
            

Aktualisieren und Erhalten von Aufträgen

Da UpdateJobes auch ein Feld „codeGenConfigurationKnoten“ geben wird, wird das Eingabeformat dasselbe sein. Siehe Aktion UpdateJob.

Die GetJobAktion gibt ebenfalls ein Feld „codeGenConfigurationKnoten“ im gleichen Format zurück. Siehe Aktion GetJob.

Beschränkungen visueller Aufträge

Da der Parameter 'codeGenConfigurationNodes' dem bestehenden Parameter hinzugefügt wurde APIs, werden alle darin enthaltenen Einschränkungen APIs übernommen. Außerdem wird die Größe der codeGenConfiguration Knoten und einiger Knoten begrenzt. Siehe Auftragsstruktur für weitere Informationen.