Visuelle AWS Glue-Auftrags-API

AWS Glue bietet eine API, die es Kunden ermöglicht, Datenintegrationsaufträge mit der AWS Glue-API von einem JSON-Objekt zu erstellen, das einen visuellen Schritt-Workflow darstellt. Kunden können den visuellen Editor dann in AWS Glue Studio verwenden, um mit diesen Aufträgen zu arbeiten.

Weitere Informationen zu den Datentypen der Visual Job API finden Sie unter Visual Job API.

API-Design und CRUD-APIs

Die APIs CreateJob und UpdateJob unterstützen jetzt einen zusätzlichen optionalen Parameter, codeGenConfigurationNodes. Die Bereitstellung einer nicht leeren JSON-Struktur für dieses Feld führt dazu, dass die DAG für den erstellten Auftrag und den zugehörigen Code in AWS Glue Studio registriert wird, der generiert wird. Ein Nullwert oder eine leere Zeichenfolge für dieses Feld bei der Auftragserstellung wird ignoriert.

Aktualisierungen des Feldes codeGenConfigurationNodes werden über die UpdateJob AWS Glue API in ähnlicher Weise wie bei CreateJob durchgeführt. Das gesamte Feld sollte in UpdateJob angegeben werden, in dem die DAG wie gewünscht geändert wurde. Ein bereitgestellter Nullwert wird ignoriert und es würde keine Aktualisierung der DAG durchgeführt. Eine leere Struktur oder Zeichenfolge führt dazu, dass die codeGenConfigurationNodes als leer festgelegt und alle vorherigen DAG entfernt werden. Die GetJob API gibt eine DAG zurück, falls eine existiert. Die DeleteJob-API löscht auch alle zugehörigen DAGs.

Erste Schritte

Um einen Auftrag zu erstellen, verwenden Sie die Aktion CreateJob . Die CreateJob-Anforderung enthält ein zusätzliches Feld „codeGenConfigurationNodes“, in dem Sie das DAG-Objekt in JSON angeben können.

Beachten Sie die folgenden Dinge:

• Das Feld ‚codeGenConfigurationNodes‘ ist eine Zuordnung von nodeID zu Knoten.

• Jeder Knoten beginnt mit einem Schlüssel, der angibt, um welche Art von Knoten es sich handelt.

• Es kann nur ein Schlüssel angegeben werden, da ein Knoten nur einen Typ haben kann.

• Das Eingabefeld enthält die übergeordneten Knoten des aktuellen Knotens.

Im Folgenden finden Sie eine JSON-Darstellung einer CreateJob-Eingabe.

{
  "node-1": {
    "S3CatalogSource": {
      "Table": "csvFormattedTable",
      "PartitionPredicate": "",
      "Name": "S3 bucket",
      "AdditionalOptions": {},
      "Database": "myDatabase"
    }
  },
  "node-3": {
    "S3DirectTarget": {
      "Inputs": ["node-2"],
      "PartitionKeys": [],
      "Compression": "none",
      "Format": "json",
      "SchemaChangePolicy": { "EnableUpdateCatalog": false },
      "Path": "",
      "Name": "S3 bucket"
    }
  },
  "node-2": {
    "ApplyMapping": {
      "Inputs": ["node-1"],
      "Name": "ApplyMapping",
      "Mapping": [
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader1",
          "FromPath": ["myheader1"]
        },
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader2",
          "FromPath": ["myheader2"]
        },
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader3",
          "FromPath": ["myheader3"]
        }
      ]
    }
  }
}   
            

Aktualisieren und Erhalten von Aufträgen

Da UpdateJob auch ein „codeGenConfigurationNodes“-Feld haben wird, ist das Eingabeformat das gleiche. Siehe UpdateJob-Aktion.

Der Befehl GetJob gibt auch ein „codeGenConfigurationNodes“-Feld im selben Format zurück. Siehe GetJob-Aktion.

Beschränkungen visueller Aufträge

Da der Parameter ‚codeGenConfigurationNodes‘ zu bestehenden APIs hinzugefügt wurde, werden alle Einschränkungen in diesen APIs weitergegeben. Darüber hinaus sind die codegenConfigurationNodes und einige Knoten begrenzt. Siehe Auftragsstruktur für weitere Informationen.