Visual Job API

Mit der Visual Job API können Sie Datenintegrationsaufträge erstellen, indem Sie die AWS Glue API aus einem JSON-Objekt verwenden, das eine visuelle Konfiguration eines AWS Glue Auftrags darstellt.

Eine Liste von CodeGenConfigurationNodes wird einer Create- oder Update-Auftrags-API zur Verfügung gestellt, um eine DAG in AWS Glue Studio für den erstellten Auftrag zu registrieren und den zugehörigen Code zu generieren.

Datentypen

• CodeGenConfigurationNode -Struktur

• JDBC-ConnectorOptions Struktur

• StreamingDataPreviewOptions Struktur

• AthenaConnectorSource Struktur

• JDBC-ConnectorSource Struktur

• SparkConnectorSource Struktur

• CatalogSource -Struktur

• MySQLCatalogSource -Struktur

• PostgreSQLCatalogSource -Struktur

• OracleSQLCatalogSource -Struktur

• MicrosoftSQLServerCatalogSource -Struktur

• CatalogKinesisSource -Struktur

• DirectKinesisSource -Struktur

• KinesisStreamingSourceOptions -Struktur

• CatalogKafkaSource -Struktur

• DirectKafkaSource -Struktur

• KafkaStreamingSourceOptions -Struktur

• RedshiftSource Struktur

• AmazonRedshiftSource Struktur

• AmazonRedshiftNodeData Struktur

• AmazonRedshiftAdvancedOption -Struktur

• Optionsstruktur

• S3CatalogSource -Struktur

• S3SourceAdditionalOptions -Struktur

• S3CsvSource -Struktur

• DirectJDBCSource-Struktur

• S3DirectSourceAdditionalOptions -Struktur

• S3JsonSource -Struktur

• S3ParquetSource -Struktur

• S3DeltaSource -Struktur

• S3CatalogDeltaSource -Struktur

• CatalogDeltaSource -Struktur

• S3HudiSource -Struktur

• S3CatalogHudiSource -Struktur

• CatalogHudiSource Struktur

• DynamoDBCatalogSource -Struktur

• RelationalCatalogSource -Struktur

• JDBC-ConnectorTarget Struktur

• SparkConnectorTarget -Struktur

• BasicCatalogTarget -Struktur

• MySQLCatalogTarget -Struktur

• PostgreSQLCatalogTarget -Struktur

• OracleSQLCatalogTarget -Struktur

• MicrosoftSQLServerCatalogTarget -Struktur

• RedshiftTarget -Struktur

• AmazonRedshiftTarget -Struktur

• UpsertRedshiftTargetOptions -Struktur

• S3CatalogTarget -Struktur

• S3GlueParquetTarget -Struktur

• CatalogSchemaChangePolicy -Struktur

• S3DirectTarget -Struktur

• S3HudiCatalogTarget -Struktur

• S3HudiDirectTarget -Struktur

• S3DeltaCatalogTarget -Struktur

• S3DeltaDirectTarget -Struktur

• DirectSchemaChangePolicy -Struktur

• ApplyMapping -Struktur

• Mapping-Struktur

• SelectFields -Struktur

• DropFields -Struktur

• RenameField -Struktur

• Spigot-Struktur

• Join-Struktur

• JoinColumn -Struktur

• SplitFields -Struktur

• SelectFromCollection -Struktur

• FillMissingValues -Struktur

• Filter-Struktur

• FilterExpression -Struktur

• FilterValue -Struktur

• CustomCode -Struktur

• SparkSQL-Struktur

• SqlAlias Struktur

• DropNullFields Struktur

• NullCheckBoxList Struktur

• NullValueField Struktur

• Datatype-Struktur

• Merge-Struktur

• Union-Struktur

• PIIDetektionsstruktur

• Aggregierte Struktur

• DropDuplicates -Struktur

• GovernedCatalogTarget -Struktur

• GovernedCatalogSource -Struktur

• AggregateOperation -Struktur

• GlueSchema -Struktur

• GlueStudioSchemaColumn -Struktur

• GlueStudioColumn -Struktur

• DynamicTransform -Struktur

• TransformConfigParameter -Struktur

• EvaluateDataQuality -Struktur

• DQ-ResultsPublishingOptions Struktur

• DQ-StopJobOnFailureOptions Struktur

• EvaluateDataQualityMultiFrame -Struktur

• Struktur des Rezepts

• RecipeReference -Struktur

• SnowflakeNodeData -Struktur

• SnowflakeSource -Struktur

• SnowflakeTarget -Struktur

• ConnectorDataSource Struktur

• ConnectorDataTarget Struktur

CodeGenConfigurationNode -Struktur

CodeGenConfigurationNode zählt alle gültigen Knotentypen auf. Nur eine ihrer Membervariablen kann ausgefüllt werden.

Felder

• AthenaConnectorSource – Ein AthenaConnectorSource-Objekt.

  Gibt einen Konnektor zu einer Amazon Athena-Datenquelle an.

• JDBCConnectorSource – Ein JDBCConnectorSource-Objekt.

  Gibt einen Konnektor zu einer JDBC-Datenquelle an.

• SparkConnectorSource – Ein SparkConnectorSource-Objekt.

  Gibt einen Konnektor zu einer Apache-Spark-Datenquelle an.

• CatalogSource – Ein CatalogSource-Objekt.

  Gibt einen Datenspeicher im AWS Glue Data Catalog an.

• RedshiftSource – Ein RedshiftSource-Objekt.

  Gibt einen Amazon Redshift-Datenspeicher an.

• S3CatalogSource – Ein S3CatalogSource-Objekt.

  Gibt einen Amazon S3-Datenspeicher im AWS Glue Data Catalog an.

• S3CsvSource – Ein S3CsvSource-Objekt.

  Gibt einen CSV-Datenspeicher an, der in Amazon S3 gespeichert ist.

• S3JsonSource – Ein S3JsonSource-Objekt.

  Gibt einen JSON-Datenspeicher an, der in Amazon S3 gespeichert ist.

• S3ParquetSource – Ein S3ParquetSource-Objekt.

  Gibt einen Apache-Parquet-Datenspeicher an, der in Amazon S3 gespeichert ist.

• RelationalCatalogSource – Ein RelationalCatalogSource-Objekt.

  Gibt einen relationalen Katalogdatenspeicher im AWS Glue Data Catalog an.

• DynamoDBCatalogSource – Ein DynamoDBCatalogSource-Objekt.

  Gibt einen DynamoDBC-Katalog-Datenspeicher im AWS Glue Data Catalog an.

• JDBCConnectorTarget – Ein JDBCConnectorTarget-Objekt.

  Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

• SparkConnectorTarget – Ein SparkConnectorTarget-Objekt.

  Gibt ein Ziel an, das einen Apache-Spark-Konnektor verwendet.

• CatalogTarget – Ein BasicCatalogTarget-Objekt.

  Gibt ein Ziel an, das eine AWS Glue Data-Catalog-Tabelle verwendet.

• RedshiftTarget – Ein RedshiftTarget-Objekt.

  Gibt ein Ziel an, das Amazon Redshift verwendet.

• S3CatalogTarget – Ein S3CatalogTarget-Objekt.

  Gibt ein Datenziel an, das mithilfe des AWS Glue Data Catalog in Amazon S3 schreibt.

• S3GlueParquetTarget – Ein S3GlueParquetTarget-Objekt.

  Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

• S3DirectTarget – Ein S3DirectTarget-Objekt.

  Gibt ein Datenziel an, das an Amazon S3 schreibt.

• ApplyMapping – Ein ApplyMapping-Objekt.

  Gibt eine Transformation an, die Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel zuordnet. Sie können Schlüssel umbenennen, die Datentypen für Schlüssel ändern und die Schlüssel auswählen, die aus dem Datensatz gelöscht werden sollen.

• SelectFields – Ein SelectFields-Objekt.

  Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie beibehalten möchten.

• DropFields – Ein DropFields-Objekt.

  Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie löschen möchten.

• RenameField – Ein RenameField-Objekt.

  Gibt eine Transformation an, die einen einzelnen Dateneigenschaftsschlüssel umbenennt.

• Spigot – Ein Spigot-Objekt.

  Gibt eine Transformation an, die Beispiele der Daten in einen Amazon S3-Bucket schreibt.

• Join – Ein Join-Objekt.

  Gibt eine Transformation an, die zwei Datensätze mit einer Vergleichsphrase für die angegebenen Dateneigenschaftsschlüssel zu einem Datensatz zusammenführt. Sie können innere, äußere, linke, rechte, linke Hälfte und linke Anti-Joins verwenden.

• SplitFields – Ein SplitFields-Objekt.

  Gibt eine Transformation an, die Dateneigenschaftsschlüssel in zwei teDynamicFrames aufteilt. Die Ausgabe ist eine Sammlung von DynamicFrames: Einer mit ausgewählten Dateneigenschaftsschlüsseln und einer mit den übrigen Dateneigenschaftsschlüsseln.

• SelectFromCollection – Ein SelectFromCollection-Objekt.

  Gibt eine Transformation an, die einen DynamicFrame aus einer Reihe von DynamicFrames auswählt. Die Ausgabe ist das ausgewählte DynamicFrame.

• FillMissingValues – Ein FillMissingValues-Objekt.

  Gibt eine Transformation an, bei der Akten im Datensatz gesucht werden können, die fehlende Werte aufweisen, und die ein neues Feld mit einem durch Imputation bestimmten Wert hinzufügt. Mit dem Eingabedatensatz wird das Modell zum Machine Learning (ML) trainiert, das den fehlenden Wert bestimmt.

• Filter – Ein Filter-Objekt.

  Gibt eine Transformation an, die einen Datensatz basierend auf einer Filterbedingung in zwei Teile teilt.

• CustomCode – Ein CustomCode-Objekt.

  Gibt eine Transformation an, die benutzerdefinierten Code verwendet, den Sie zur Durchführung der Datentransformation bereitstellen. Die Ausgabe ist eine Sammlung von DynamicFrames.

• SparkSQL – Ein SparkSQL-Objekt.

  Gibt eine Transformation an, bei der Sie eine SQL-Abfrage mit der Spark SQL-Syntax eingeben, um die Daten zu transformieren. Die Ausgabe ist ein einzelner DynamicFrame.

• DirectKinesisSource – Ein DirectKinesisSource-Objekt.

  Gibt eine direkte Amazon Kinesis-Datenquelle an.

• DirectKafkaSource – Ein DirectKafkaSource-Objekt.

  Gibt einen Apache-Kafka-Datenspeicher an.

• CatalogKinesisSource – Ein CatalogKinesisSource-Objekt.

  Gibt eine Kinesis-Datenquelle im AWS Glue Data Catalog an.

• CatalogKafkaSource – Ein CatalogKafkaSource-Objekt.

  Gibt einen Apache-Kafka-Datenspeicher im Data Catalog an.

• DropNullFields – Ein DropNullFields-Objekt.

  Gibt eine Transformation an, die Spalten aus dem Datensatz entfernt, wenn alle Werte in der Spalte „null“ sind. Standardmäßig erkennt AWS Glue Studio Null-Objekte, aber einige Werte wie leere Zeichenfolgen, Zeichenfolgen, die „null“ sind, -1 Ganzzahlen oder andere Platzhalter wie Nullen werden nicht automatisch als Nullen erkannt.

• Merge – Ein Merge-Objekt.

  Gibt eine Transformation an, die ein DynamicFrame mit einem Staging-DynamicFrame basierend auf den angegebenen Primärschlüsseln zusammenführt, um Datensätze zu identifizieren. Doppelte Datensätze (Datensätze mit denselben Primärschlüsseln) werden nicht dedupliziert.

• Union – Ein Union-Objekt.

  Gibt eine Transformation an, die die Zeilen aus zwei oder mehr Datensätzen zu einem einzigen Ergebnis kombiniert.

• PIIDetection – Ein PIIDetection-Objekt.

  Gibt eine Transformation an, die PII-Daten identifiziert, entfernt oder maskiert.

• Aggregate – Ein Aggregate-Objekt.

  Gibt eine Transformation an, die Zeilen nach ausgewählten Feldern gruppiert und den aggregierten Wert nach der angegebenen Funktion berechnet.

• DropDuplicates – Ein DropDuplicates-Objekt.

  Gibt eine Transformation an, die Zeilen mit sich wiederholenden Daten aus einem Datensatz entfernt.

• GovernedCatalogTarget – Ein GovernedCatalogTarget-Objekt.

  Gibt ein Datenziel an, das in einen gesteuerten Katalog schreibt.

• GovernedCatalogSource – Ein GovernedCatalogSource-Objekt.

  Gibt eine Datenquelle in einem gesteuerten Datenkatalog an.

• MicrosoftSQLServerCatalogSource – Ein MicrosoftSQLServerCatalogSource-Objekt.

  Gibt eine Microsoft SQL Server-Datenquelle im AWS Glue -Datenkatalog an.

• MySQLCatalogSource – Ein MySQLCatalogSource-Objekt.

  Gibt eine MySQL-Datenquelle im AWS Glue Data Catalog an.

• OracleSQLCatalogSource – Ein OracleSQLCatalogSource-Objekt.

  Gibt eine Oracle-Datenquelle im AWS Glue Data Catalog an.

• PostgreSQLCatalogSource – Ein PostgreSQLCatalogSource-Objekt.

  Gibt eine PostgresSQL-Datenquelle im AWS Glue Data Catalog an.

• MicrosoftSQLServerCatalogTarget – Ein MicrosoftSQLServerCatalogTarget-Objekt.

  Gibt ein Ziel an, das Microsoft SQL verwendet.

• MySQLCatalogTarget – Ein MySQLCatalogTarget-Objekt.

  Gibt ein Ziel an, das MySQL verwendet.

• OracleSQLCatalogTarget – Ein OracleSQLCatalogTarget-Objekt.

  Gibt ein Ziel an, das Oracle SQL verwendet.

• PostgreSQLCatalogTarget – Ein PostgreSQLCatalogTarget-Objekt.

  Gibt ein Ziel an, das Postgres SQL verwendet.

• DynamicTransform – Ein DynamicTransform-Objekt.

  Gibt eine benutzerdefinierte visuelle Transformation an, die von einem Benutzer erstellt wurde.

• EvaluateDataQuality – Ein EvaluateDataQuality-Objekt.

  Gibt Ihre Auswertungskriterien für die Datenqualität an.

• S3CatalogHudiSource – Ein S3CatalogHudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die im AWS Glue Data Catalog registriert ist. Die Datenquelle muss in gespeichert werden Amazon S3.

• CatalogHudiSource – Ein CatalogHudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die im AWS Glue Data Catalog registriert ist.

• S3HudiSource – Ein S3HudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die in gespeichert ist Amazon S3.

• S3HudiCatalogTarget – Ein S3HudiCatalogTarget-Objekt.

  Gibt ein Ziel an, das in eine Hudi-Datenquelle im AWS Glue Data Catalog schreibt.

• S3HudiDirectTarget – Ein S3HudiDirectTarget-Objekt.

  Gibt ein Ziel an, das in eine Hudi-Datenquelle in schreibt Amazon S3.

• S3CatalogDeltaSource – Ein S3CatalogDeltaSource-Objekt.

  Gibt eine Delta-Lake-Datenquelle an, die im AWS Glue Data Catalog registriert ist. Die Datenquelle muss in gespeichert werden Amazon S3.

• CatalogDeltaSource – Ein CatalogDeltaSource-Objekt.

  Gibt eine Delta-Lake-Datenquelle an, die im AWS Glue Data Catalog registriert ist.

• S3DeltaSource – Ein S3DeltaSource-Objekt.

  Gibt eine Delta-Lake-Datenquelle an, die in gespeichert ist Amazon S3.

• S3DeltaCatalogTarget – Ein S3DeltaCatalogTarget-Objekt.

  Gibt ein Ziel an, das in eine Delta-Lake-Datenquelle im AWS Glue Data Catalog schreibt.

• S3DeltaDirectTarget – Ein S3DeltaDirectTarget-Objekt.

  Gibt ein Ziel an, das in eine Delta-Lake-Datenquelle in schreibt Amazon S3.

• AmazonRedshiftSource – Ein AmazonRedshiftSource-Objekt.

  Gibt ein Ziel an, das in eine Datenquelle in Amazon Redshift schreibt.

• AmazonRedshiftTarget – Ein AmazonRedshiftTarget-Objekt.

  Gibt ein Ziel an, das in ein Datenziel in Amazon Redshift schreibt.

• EvaluateDataQualityMultiFrame – Ein EvaluateDataQualityMultiFrame-Objekt.

  Gibt Ihre Auswertungskriterien für die Datenqualität an. Ermöglicht mehrere Eingabedaten und gibt eine Sammlung von Dynamic Frames zurück.

• Recipe – Ein Rezept-Objekt.

  Gibt einen AWS Glue DataBrew Rezeptknoten an.

• SnowflakeSource – Ein SnowflakeSource-Objekt.

  Gibt eine Snowflake-Datenquelle an.

• SnowflakeTarget – Ein SnowflakeTarget-Objekt.

  Gibt ein Ziel an, das in eine Snowflake-Datenquelle schreibt.

• ConnectorDataSource – Ein ConnectorDataSource-Objekt.

  Gibt eine Quelle an, die mit Standardverbindungsoptionen generiert wurde.

• ConnectorDataTarget – Ein ConnectorDataTarget-Objekt.

  Gibt ein Ziel an, das mit Standardverbindungsoptionen generiert wurde.

JDBC-ConnectorOptions Struktur

Zusätzliche Verbindungsoptionen für den Konnektor.

Felder

• FilterPredicate – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Zusätzliche Bedingungsklausel zum Filtern von Daten aus der Quelle. Zum Beispiel:

  BillingCity='Mountain View'

  Wenn Sie eine Abfrage anstelle eines Tabellennamens verwenden, sollten Sie überprüfen, ob die Abfrage mit dem angegebenen filterPredicate funktioniert.

• PartitionColumn – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Name einer Ganzzahlspalte, die für die Partitionierung verwendet wird. Diese Option funktioniert nur, wenn sie in lowerBound, upperBound und numPartitions enthalten ist. Diese Option funktioniert auf die gleiche Weise wie im Spark SQL JDBC Reader.

• LowerBound – Zahl (lang), nicht mehr als Keine.

  Der Mindestwert von partitionColumn, der verwendet wird, um Partitionsschritte festzulegen.

• UpperBound – Zahl (lang), nicht mehr als Keine.

  Der Maximalwert von partitionColumn, der verwendet wird, um Partitionsschritte festzulegen.

• NumPartitions – Zahl (lang), nicht mehr als Keine.

  Die Anzahl an Partitionen. Dieser Wert, zusammen mit lowerBound (inklusive) und upperBound (exklusiv), bilden Partitionsschritte für generierte WHERE-Klauselausdrücke, die verwendet werden, um die partitionColumn aufzuteilen.

• JobBookmarkKeys – Ein UTF-8-Zeichenfolgen-Array.

  Der Name der Auftrags-Lesezeichenschlüssel, nach denen sortiert werden soll.

• JobBookmarkKeysSortOrder – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Legt eine auf- oder absteigende Sortierreihenfolge fest.

• DataTypeMapping – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge (zulässige Werte: ARRAY | BIGINT | BINARY | BIT | BLOB | BOOLEAN | CHAR | CLOB | DATALINK | DATE | DECIMAL | DISTINCT | DOUBLE | FLOAT | INTEGER | JAVA_OBJECT | LONGNVARCHAR | LONGVARBINARY | LONGVARCHAR | NCHAR | NCLOB | NULL | NUMERIC | NVARCHAR | OTHER | REAL | REF | REF_CURSOR | ROWID | SMALLINT | SQLXML | STRUCT | TIME | TIME_WITH_TIMEZONE | TIMESTAMP | TIMESTAMP_WITH_TIMEZONE | TINYINT | VARBINARY | VARCHAR).

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge (zulässige Werte: DATE | STRING | TIMESTAMP | INT | FLOAT | LONG | BIGDECIMAL | BYTE | SHORT | DOUBLE).

  Benutzerdefiniertes Datentyp-Mapping, das ein Mapping aus einem JDBC-Datentyp auf einen AWS Glue -Datentyp durchführt. Die Option "dataTypeMapping":{"FLOAT":"STRING"} ordnet beispielsweise Datenfelder des JDBC-Typs dem Java-StringTyp FLOAT zu, indem sie die -ResultSet.getString()Methode des Treibers aufruft, und verwendet sie zum Erstellen des AWS Glue Datensatzes. Das ResultSet-Objekt wird von jedem Treiber implementiert, sodass das Verhalten spezifisch für den von Ihnen verwendeten Treiber ist. Informieren Sie sich in der Dokumentation für Ihren JDBC-Treiber, um zu verstehen, wie der Treiber die Konvertierungen durchführt.

StreamingDataPreviewOptions Struktur

Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.

Felder

• PollingTime – Zahl (lang), mindestens 10.

  Die Abrufzeit in Millisekunden.

• RecordPollingLimit – Zahl (lang), mindestens 1.

  Die Begrenzung der Anzahl der befragten Datensätze.

AthenaConnectorSource Struktur

Gibt einen Konnektor zu einer Amazon Athena-Datenquelle an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• ConnectionName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Art der Verbindung, wie marketplace.athena oder custom.athena, die eine Verbindung zu einem Amazon Athena-Datenspeicher bezeichnet.

• ConnectionTable – UTF-8-Zeichenfolge, die Custom string pattern #35 entspricht.

  Der Name der Tabelle in der Datenquelle.

• SchemaName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name des zu lesenden CloudWatch-Protokollgruppenstreams. Zum Beispiel, /aws-glue/jobs/output.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Athena-Quelle an.

JDBC-ConnectorSource Struktur

Gibt einen Konnektor zu einer JDBC-Datenquelle an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• ConnectionName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Art der Verbindung, wie marketplace.jdbc oder custom.jdbc, die eine Verbindung zu einem JDBC-Datenspeicher bezeichnet.

• AdditionalOptions – Ein JDBCConnectorOptions-Objekt.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• ConnectionTable – UTF-8-Zeichenfolge, die Custom string pattern #35 entspricht.

  Der Name der Tabelle in der Datenquelle.

• Query – UTF-8-Zeichenfolge, die Custom string pattern #36 entspricht.

  Die Tabelle oder SQL-Abfrage, aus der die Daten abgerufen werden. Sie können ConnectionTable oder query angeben, aber nicht beides.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte JDBC-Quelle an.

SparkConnectorSource Struktur

Gibt einen Konnektor zu einer Apache-Spark-Datenquelle an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• ConnectionName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Art der Verbindung, wie marketplace.spark oder custom.spark, die eine Verbindung zu einem Apache-Spark-Datenspeicher bezeichnet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Sparkquelle an.

CatalogSource -Struktur

Gibt einen Datenspeicher im AWS Glue Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datastores.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

MySQLCatalogSource -Struktur

Gibt eine MySQL-Datenquelle im AWS Glue Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

PostgreSQLCatalogSource -Struktur

Gibt eine PostgresSQL-Datenquelle im AWS Glue Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

OracleSQLCatalogSource -Struktur

Gibt eine Oracle-Datenquelle im AWS Glue Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

MicrosoftSQLServerCatalogSource -Struktur

Gibt eine Microsoft SQL Server-Datenquelle im AWS Glue -Datenkatalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

CatalogKinesisSource -Struktur

Gibt eine Kinesis-Datenquelle im AWS Glue Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• WindowSize – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• StreamingOptions – Ein KinesisStreamingSourceOptions-Objekt.

  Zusätzliche Optionen für die Kinesis-Streaming-Datenquelle.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Zusätzliche Optionen für die Datenvorschau.

DirectKinesisSource -Struktur

Gibt eine direkte Amazon Kinesis-Datenquelle an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• WindowSize – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• StreamingOptions – Ein KinesisStreamingSourceOptions-Objekt.

  Zusätzliche Optionen für die Kinesis-Streaming-Datenquelle.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Zusätzliche Optionen für die Datenvorschau.

KinesisStreamingSourceOptions -Struktur

Zusätzliche Optionen für die Amazon Kinesis-Streaming-Datenquelle.

Felder

• EndpointUrl – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die URL des Kinesis-Endpunktes.

• StreamName – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Name des Kinesis-Datenstroms.

• Classification – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Eine optionale Klassifizierung.

• Delimiter – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt das Trennzeichen an.

• StartingPosition – UTF-8-Zeichenfolge (zulässige Werte: latest="LATEST" | trim_horizon="TRIM_HORIZON" | earliest="EARLIEST" | timestamp="TIMESTAMP").

  Die Ausgangsposition im Kinesis Data Stream, von dem Daten gelesen werden sollen. Die möglichen Werte sind "latest", "trim_horizon", "earliest" oder eine Zeitstempelzeichenfolge im UTC-Format im Muster yyyy-mm-ddTHH:MM:SSZ (wobei Z einen UTC-Zeitzonenversatz mit einem +/- darstellt. Beispiel: „2023-04-04T08:00:00-04:00“) . Der Standardwert ist "latest".

  Hinweis: Die Verwendung eines Werts, der eine Zeitstempelzeichenfolge im UTC-Format für „startingPosition“ ist, wird nur für AWS Glue Version 4.0 oder höher unterstützt.

• MaxFetchTimeInMs – Zahl (lang), nicht mehr als Keine.

  Die maximale Zeit, die im Auftrags-Executor zum Abrufen eines Datensatzes aus dem Kinesis Data Stream pro Shard verbracht wurde, angegeben in Millisekunden (ms). Der Standardwert ist 1000.

• MaxFetchRecordsPerShard – Zahl (lang), nicht mehr als Keine.

  Die maximale Anzahl von Datensätzen, die pro Shard im Kinesis-Datenstrom pro Mikrobatch abgerufen werden sollen. Hinweis: Der Client kann dieses Limit überschreiten, wenn der Streaming-Auftrag bereits zusätzliche Datensätze aus Kinesis gelesen hat (im selben get-records-Aufruf). Wenn streng sein MaxFetchRecordsPerShard muss, muss es sich um ein Vielfaches von handelnMaxRecordPerRead. Der Standardwert ist 100000.

• MaxRecordPerRead – Zahl (lang), nicht mehr als Keine.

  Die maximale Anzahl von Datensätzen, die aus dem Kinesis Data Stream in jeder getRecords-Operation abgerufen werden sollen. Der Standardwert ist 10000.

• AddIdleTimeBetweenReads – Boolesch.

  Fügt eine Zeitverzögerung zwischen zwei aufeinander folgenden -Operationen ein. Der Standardwert ist "False". Diese Option ist nur für Glue 2.0 und höher konfigurierbar.

• IdleTimeBetweenReadsInMs – Zahl (lang), nicht mehr als Keine.

  Die minimale Zeitverzögerung zwischen zwei aufeinanderfolgenden getRecords-Operationen, angegeben in Millisekunden (ms). Der Standardwert ist 1000. Diese Option ist nur für Glue 2.0 und höher konfigurierbar.

• DescribeShardInterval – Zahl (lang), nicht mehr als Keine.

  Das minimale Zeitintervall zwischen zwei ListShards API-Aufrufen für Ihr Skript, um ein erneutes Sharding zu erwägen. Der Standardwert ist 1s.

• NumRetries – Zahl (Ganzzahl), nicht mehr als Keine.

  Die maximale Anzahl erneuter Versuche für API-Aufrufe von Kinesis Data Streams. Der Standardwert ist 3.

• RetryIntervalMs – Zahl (lang), nicht mehr als Keine.

  Die Abkühlzeit (angegeben in ms) vor dem erneuten Versuch des API-Aufrufs von Kinesis Data Streams. Der Standardwert ist 1000.

• MaxRetryIntervalMs – Zahl (lang), nicht mehr als Keine.

  Die maximale Abkühlzeit (angegeben in ms) zwischen zwei wiederholten Versuchen eines API-Aufrufs von Kinesis Data Streams. Der Standardwert ist 10000.

• AvoidEmptyBatches – Boolesch.

  Vermeidet das Erstellen eines leeren Mikrobatchauftrags, indem vor dem Start des Batches im Kinesis Data Stream nach ungelesenen Daten gesucht wird. Der Standardwert ist "False".

• StreamArn – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Amazon-Ressourcenname (ARN) des Kinesis Data Stream.

• RoleArn – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Amazon-Ressourcenname (ARN) der Rolle, die mit AWS Security Token Service (AWS STS) übernommen werden soll. Diese Rolle muss über Berechtigungen zum Beschreiben oder Lesen von Datensatzoperationen für den Kinesis-Datenstrom verfügen. Sie müssen diesen Parameter verwenden, wenn Sie auf einen Datenstrom in einem anderen Konto zugreifen. Verwendet in Verbindung mit "awsSTSSessionName".

• RoleSessionName – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Eine Kennung für die Sitzung, die die Rolle mit AWS STS übernimmt. Sie müssen diesen Parameter verwenden, wenn Sie auf einen Datenstrom in einem anderen Konto zugreifen. Verwendet in Verbindung mit "awsSTSRoleARN".

• AddRecordTimestamp – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Wenn diese Option auf 'true' gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „__src_timestamp“, die die Uhrzeit angibt, zu der der entsprechende Datensatz mit dem Stream empfangen wurde. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• EmitConsumerLagMetrics – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Wenn diese Option auf „true“ gesetzt ist, werden für jeden Batch die Metriken für die Dauer zwischen dem ältesten vom Stream empfangenen Datensatz und der Zeit, zu der er in ankommt AWS Glue , ausgegeben CloudWatch. Der Name der Metrik lautet „glue.driver.streamingmaxConsumerLagInMs“. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• StartingTimestamp – UTF-8-Zeichenfolge.

  Der Zeitstempel des Datensatzes im Kinesis-Datenstrom, aus dem mit dem Lesen der Daten begonnen werden soll. Die möglichen Werte sind eine Zeitstempelzeichenfolge im UTC-Format des Musters yyyy-mm-ddTHH:MM:SSZ (wobei Z einen UTC-Zeitzonenversatz mit einem +/- darstellt. Beispiel: „2023-04-04T08:00:00+08:00“).

CatalogKafkaSource -Struktur

Gibt einen Apache-Kafka-Datenspeicher im Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datastores.

• WindowSize – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• StreamingOptions – Ein KafkaStreamingSourceOptions-Objekt.

  Gibt die Streaming-Optionen an.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.

DirectKafkaSource -Struktur

Gibt einen Apache-Kafka-Datenspeicher an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datastores.

• StreamingOptions – Ein KafkaStreamingSourceOptions-Objekt.

  Gibt die Streaming-Optionen an.

• WindowSize – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.

KafkaStreamingSourceOptions -Struktur

Zusätzliche Optionen zum Streaming.

Felder

• BootstrapServers – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Eine Liste von Bootstrap-Server-URLs, z. B. b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094. Diese Option muss im API-Aufruf angegeben oder in den Tabellenmetadaten im Data Catalog definiert werden.

• SecurityProtocol – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Das Protokoll, das für die Kommunikation mit Brokern verwendet wird. Die möglichen Werte sind "SSL" oder "PLAINTEXT".

• ConnectionName – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Name der Verbindung.

• TopicName – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Name des Themas, wie in Apache Kafka angegeben. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• Assign – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die spezifischen zu verbrauchenden TopicPartitions. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• SubscribePattern – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Eine Java-Regex-Zeichenfolge, die die Themenliste identifiziert, die abonniert werden soll. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• Classification – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Eine optionale Klassifizierung.

• Delimiter – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt das Trennzeichen an.

• StartingOffsets – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die Ausgangsposition im Kafka-Thema, aus dem Daten gelesen werden sollen. Die möglichen Werte sind "earliest" oder "latest". Der Standardwert ist "latest".

• EndingOffsets – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Endpunkt, wenn eine Batchabfrage beendet wird. Die möglichen Werte sind entweder "latest" oder eine JSON-Zeichenfolge, die einen Offset für das Ende jeder TopicPartition angibt.

• PollTimeoutMs – Zahl (lang), nicht mehr als Keine.

  Das Timeout in Millisekunden, um Daten von Kafka in Spark-Auftragsausführungen abzufragen. Der Standardwert ist 512.

• NumRetries – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Anzahl, wie oft erneute Versuche durchgeführt werden sollen, bevor Kafka-Offsets nicht abgerufen werden. Der Standardwert ist 3.

• RetryIntervalMs – Zahl (lang), nicht mehr als Keine.

  Die Wartezeit in Millisekunden, bevor Sie erneut versuchen, Kafka-Offsets abzurufen. Der Standardwert ist 10.

• MaxOffsetsPerTrigger – Zahl (lang), nicht mehr als Keine.

  Die Ratengrenze für die maximale Anzahl von Offsets, die pro Triggerintervall verarbeitet werden. Die angegebene Gesamtzahl der Offsets wird proportional auf topicPartitionsvon verschiedenen Volumes aufgeteilt. Der Standardwert ist null, was bedeutet, dass der Verbraucher alle Offsets bis zum bekannten letzten Offset liest.

• MinPartitions – Zahl (Ganzzahl), nicht mehr als Keine.

  Die gewünschte Mindestanzahl an Partitionen, die von Kafka gelesen werden sollen. Der Standardwert ist null, was bedeutet, dass die Anzahl der Spark-Partitionen gleich der Anzahl der Kafka-Partitionen ist.

• IncludeHeaders – Boolesch.

  Ob die Kafka-Header eingeschlossen werden sollen. Wenn die Option auf „true“ gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „glue_streaming_kafka_headers“ mit dem Typ Array[Struct(key: String, value: String)]. Der Standardwert ist „false“. Diese Option ist nur in AWS Glue Version 3.0 oder höher verfügbar.

• AddRecordTimestamp – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Wenn diese Option auf „true“ gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „__src_timestamp“, die den Zeitpunkt angibt, zu dem der entsprechende Datensatz beim Thema eingegangen ist. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• EmitConsumerLagMetrics – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Wenn diese Option auf „true“ gesetzt ist, werden für jeden Batch die Metriken für die Dauer zwischen dem ältesten vom Thema empfangenen Datensatz und der Zeit, zu der er in eintrifft AWS Glue , ausgegeben CloudWatch. Der Name der Metrik lautet „glue.driver.streamingmaxConsumerLagInMs“. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• StartingTimestamp – UTF-8-Zeichenfolge.

  Der Zeitstempel des Datensatzes im Kafka-Thema, aus dem mit dem Lesen von Daten begonnen werden soll. Die möglichen Werte sind eine Zeitstempelzeichenfolge im UTC-Format des Musters yyyy-mm-ddTHH:MM:SSZ (wobei Z einen UTC-Zeitzonenversatz mit einem +/- darstellt. Beispiel: „2023-04-04T08:00:00+08:00“).

  Es muss nur ein StartingTimestamp oder StartingOffsets festgelegt werden.

RedshiftSource Struktur

Gibt einen Amazon Redshift-Datenspeicher an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Amazon-Redshift-Datenspeichers.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die zu lesende Datenbanktabelle.

• RedshiftTmpDir – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• TmpDirIAMRole – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die IAM-Rolle mit Berechtigungen.

AmazonRedshiftSource Struktur

Gibt eine Amazon-Redshift-Quelle an.

Felder

• Name – UTF-8-Zeichenfolge, die Custom string pattern #37 entspricht.

  Der Name der Amazon-Redshift-Quelle.

• Data – Ein AmazonRedshiftNodeData-Objekt.

  Gibt die Daten des Amazon-Reshift-Quellknotens an.

AmazonRedshiftNodeData Struktur

Gibt einen Amazon-Redshift-Knoten an.

Felder

• AccessType – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Der Zugriffstyp für die Redshift-Verbindung. Dies kann eine direkte Verbindung oder eine Katalogverbindung sein.

• SourceType – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Der Quelltyp, der angibt, ob eine bestimmte Tabelle die Quelle oder eine benutzerdefinierte Abfrage ist.

• Connection – Ein Option-Objekt.

  Die AWS Glue Verbindung zum Redshift-Cluster.

• Schema – Ein Option-Objekt.

  Der Name des Redshift-Schemas beim Arbeiten mit einer direkten Verbindung.

• Table – Ein Option-Objekt.

  Der Name der Redshift-Tabelle beim Arbeiten mit einer Direktverbindung.

• CatalogDatabase – Ein Option-Objekt.

  Der Name der AWS Glue Data-Catalog-Datenbank bei der Arbeit mit einem Datenkatalog.

• CatalogTable – Ein Option-Objekt.

  Der Name der AWS Glue Data-Catalog-Tabelle bei der Arbeit mit einem Datenkatalog.

• CatalogRedshiftSchema – UTF-8-Zeichenfolge.

  Der Name des Redshift-Schemas bei der Arbeit mit einem Datenkatalog.

• CatalogRedshiftTable – UTF-8-Zeichenfolge.

  Die zu lesende Datenbanktabelle.

• TempDir – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• IamRole – Ein Option-Objekt.

  Optional. Der Rollenname, der bei der Verbindung mit S3 verwendet wird. Wenn das Feld leer gelassen wird, wird standardmäßig die Rolle des Auftrags als IAM-Rolle verwendet.

• AdvancedOptions – Ein Array mit AmazonRedshiftAdvancedOption-Objekten.

  Optionale Werte beim Herstellen einer Verbindung zum Redshift-Cluster.

• SampleQuery – UTF-8-Zeichenfolge.

  Das SQL, das zum Abrufen der Daten aus Redshift-Quellen verwendet wird, wenn der SourceType „Abfrage“ ist.

• PreAction – UTF-8-Zeichenfolge.

  Die SQL, die vor der Ausführung eines MERGE- oder APPEND-Vorgangs mit Upsert verwendet wird.

• PostAction – UTF-8-Zeichenfolge.

  Die SQL, die vor der Ausführung eines MERGE- oder APPEND-Vorgangs mit Upsert verwendet wird.

• Action – UTF-8-Zeichenfolge.

  Gibt an, wie in einen Redshift-Cluster geschrieben wird.

• TablePrefix – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Gibt das Präfix für eine Tabelle an.

• Upsert – Boolesch.

  Die auf Redshift verwendete Aktion sinkt, wenn ein APPEND-Vorgang durchgeführt wird.

• MergeAction – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Die Aktion, mit der bestimmt wird, wie ein MERGE-Vorgang in einer Redshift-Senke behandelt wird.

• MergeWhenMatched – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Die Aktion, mit der bestimmt wird, wie ein MERGE-Vorgang in einer Redshift-Senke gehandhabt wird, wenn ein vorhandener Datensatz mit einem neuen Datensatz übereinstimmt.

• MergeWhenNotMatched – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Die Aktion, mit der bestimmt wird, wie ein MERGE-Vorgang in einer Redshift-Senke behandelt wird, wenn ein vorhandener Datensatz nicht mit einem neuen Datensatz übereinstimmt.

• MergeClause – UTF-8-Zeichenfolge.

  Das SQL, das bei einer benutzerdefinierten Zusammenführung zum Umgang mit übereinstimmenden Datensätzen verwendet wird.

• CrawlerConnection – UTF-8-Zeichenfolge.

  Gibt den Namen der Verbindung an, die der verwendeten Katalogtabelle zugeordnet ist.

• TableSchema – Ein Array mit Option-Objekten.

  Das Array der Schemaausgabe für einen bestimmten Knoten.

• StagingTable – UTF-8-Zeichenfolge.

  Der Name der temporären Staging-Tabelle, die beim Ausführen eines MERGE- oder APPEND-Vorgangs mit Upsert verwendet wird.

• SelectedColumns – Ein Array mit Option-Objekten.

  Die Liste der Spaltennamen, die verwendet wird, um einen passenden Datensatz zu ermitteln, wenn ein MERGE- oder APPEND-Vorgang mit Upsert durchgeführt wird.

AmazonRedshiftAdvancedOption -Struktur

Gibt einen optionalen Wert an, wenn eine Verbindung zum Redshift-Cluster hergestellt wird.

Felder

• Key – UTF-8-Zeichenfolge.

  Der Schlüssel für die zusätzliche Verbindungsoption.

• Value – UTF-8-Zeichenfolge.

  Der Wert für die zusätzliche Verbindungsoption.

Optionsstruktur

Gibt einen Optionswert an.

Felder

• Value – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt den Wert der Option an.

• Label – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt die Bezeichnung der Option an.

• Description – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt die Beschreibung der Option an.

S3CatalogSource -Struktur

Gibt einen Amazon S3-Datenspeicher im AWS Glue Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datastores.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die zu lesende Datenbanktabelle.

• PartitionPredicate – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht. Festgelegt auf "" – standardmäßig auf leer festgelegt.

• AdditionalOptions – Ein S3SourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

S3SourceAdditionalOptions -Struktur

Gibt zusätzliche Verbindungsoptionen für den Amazon S3-Datenspeicher an.

Felder

• BoundedSize – Zahl (lang).

  Legt die Obergrenze für die Zielgröße des Datensatzes, die verarbeitet werden, in Byte fest.

• BoundedFiles – Zahl (lang).

  Legt die Obergrenze für die Zielanzahl von Dateien fest, die verarbeitet werden.

S3CsvSource -Struktur

Gibt einen CSV-Datenspeicher an, der in Amazon S3 gespeichert ist.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datastores.

• Paths – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType – UTF-8-Zeichenfolge (zulässige Werte: gzip="GZIP" | bzip2="BZIP2").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions – Ein UTF-8-Zeichenfolgen-Array.

  Eine Zeichenfolge, die eine JSON-Liste der auszuschließenden Glob-Muster im Unix-Stil enthält. Beispiel: „[\"**.pdf \"]“ schließt alle PDF-Dateien aus.

• GroupSize – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "inPartition". Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand-Millisekunden liegen, werden speziell bei der Verwendung von JobBookmarks zur Berücksichtigung der letztendlichen Konsistenz von Amazon S3 verfolgt. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option gibt die maximale Anzahl von Dateien an, die aus den letzten maxBand Sekunden gespeichert werden sollen. Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• Separator – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: comma="COMMA" | ctrla="CTRLA" | pipe="PIPE" | semicolon="SEMICOLON" | tab="TAB").

  Gibt das Trennzeichen an. Der Standardwert ist ein Komma: „,“, es können aber alle anderen Zeichen angegeben werden.

• Escaper – UTF-8-Zeichenfolge, die Custom string pattern #35 entspricht.

  Gibt das Escape-Zeichen an. Diese Option wird nur beim Lesen von CSV-Dateien verwendet. Der Standardwert ist none. Wenn diese Option aktiviert ist, wird das unmittelbar folgende Zeichen als solches verwendet, außer einer kleinen Menge bekannter Escapes (\n, \r, \t und \0).

• QuoteChar – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: quote="QUOTE" | quillemet="QUILLEMET" | single_quote="SINGLE_QUOTE" | disabled="DISABLED").

  Gibt das Zeichen für Anführungszeichen an. Standardmäßig werden doppelte Anführungszeichen '"' verwendet. Setzen Sie dies auf -1, um Anführungszeichen generell zu deaktivieren.

• Multiline – Boolesch.

  Ein boolescher Wert, der angibt, ob ein einzelner Datensatz mehrere Zeilen umfassen kann. Dies kommt vor, wenn ein Feld ein Neue-Zeile-Zeichen in Anführungszeichen enthält. Sie müssen diese Option auf "true" setzen, wenn ein Datensatz mehrere Zeilen umfasst. Der Standardwert ist False. Dies ermöglicht eine rigorosere Dateiaufteilung während der Analyse.

• WithHeader – Boolesch.

  Ein boolescher Wert, der angibt, ob die erste Zeile als Kopfzeile zu behandeln ist. Der Standardwert ist False.

• WriteHeader – Boolesch.

  Ein boolescher Wert, der angibt, ob die Kopfzeile mit ausgegeben wird. Der Standardwert ist True.

• SkipFirst – Boolesch.

  Ein boolescher Wert, der angibt, ob die erste Datenzeile übersprungen wird. Der Standardwert ist False.

• OptimizePerformance – Boolesch.

  Ein boolescher Wert, der angibt, ob der erweiterte SIMD-CSV-Reader zusammen mit Apache Arrow basierten spaltenförmigen Speicherformaten verwendet werden soll. Nur in AWS Glue Version 3.0 verfügbar.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die S3-CSV-Quelle an.

DirectJDBCSource-Struktur

Gibt die direkte JDBC-Quellverbindung an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der JDBC-Quellverbindung.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Datenbank der JDBC-Quellverbindung.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Tabelle der JDBC-Quellverbindung.

• ConnectionName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Verbindungsname der JDBC-Quelle.

• ConnectionType – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: sqlserver | mysql | oracle | postgresql | redshift).

  Der Verbindungstyp der JDBC-Quelle.

• RedshiftTmpDir – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Das temporäre Verzeichnis der JDBC-Redshift-Quelle.

S3DirectSourceAdditionalOptions -Struktur

Gibt zusätzliche Verbindungsoptionen für den Amazon S3-Datenspeicher an.

Felder

• BoundedSize – Zahl (lang).

  Legt die Obergrenze für die Zielgröße des Datensatzes, die verarbeitet werden, in Byte fest.

• BoundedFiles – Zahl (lang).

  Legt die Obergrenze für die Zielanzahl von Dateien fest, die verarbeitet werden.

• EnableSamplePath – Boolesch.

  Legt die Option zum Aktivieren eines Beispielpfads fest.

• SamplePath – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Wenn diese Option aktiviert ist, gibt den Beispielpfad an.

S3JsonSource -Struktur

Gibt einen JSON-Datenspeicher an, der in Amazon S3 gespeichert ist.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datastores.

• Paths – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType – UTF-8-Zeichenfolge (zulässige Werte: gzip="GZIP" | bzip2="BZIP2").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions – Ein UTF-8-Zeichenfolgen-Array.

  Eine Zeichenfolge, die eine JSON-Liste der auszuschließenden Glob-Muster im Unix-Stil enthält. Beispiel: „[\"**.pdf \"]“ schließt alle PDF-Dateien aus.

• GroupSize – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "inPartition". Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand-Millisekunden liegen, werden speziell bei der Verwendung von JobBookmarks zur Berücksichtigung der letztendlichen Konsistenz von Amazon S3 verfolgt. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option gibt die maximale Anzahl von Dateien an, die aus den letzten maxBand Sekunden gespeichert werden sollen. Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• JsonPath – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Eine JsonPath Zeichenfolge, die die JSON-Daten definiert.

• Multiline – Boolesch.

  Ein boolescher Wert, der angibt, ob ein einzelner Datensatz mehrere Zeilen umfassen kann. Dies kommt vor, wenn ein Feld ein Neue-Zeile-Zeichen in Anführungszeichen enthält. Sie müssen diese Option auf "true" setzen, wenn ein Datensatz mehrere Zeilen umfasst. Der Standardwert ist False. Dies ermöglicht eine rigorosere Dateiaufteilung während der Analyse.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die S3-JSON-Quelle an.

S3ParquetSource -Struktur

Gibt einen Apache-Parquet-Datenspeicher an, der in Amazon S3 gespeichert ist.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datastores.

• Paths – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType – UTF-8-Zeichenfolge (zulässige Werte: snappy="SNAPPY" | lzo="LZO" | gzip="GZIP" | uncompressed="UNCOMPRESSED" | none="NONE").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions – Ein UTF-8-Zeichenfolgen-Array.

  Eine Zeichenfolge, die eine JSON-Liste der auszuschließenden Glob-Muster im Unix-Stil enthält. Beispiel: „[\"**.pdf \"]“ schließt alle PDF-Dateien aus.

• GroupSize – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "inPartition". Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand-Millisekunden liegen, werden speziell bei der Verwendung von JobBookmarks zur Berücksichtigung der letztendlichen Konsistenz von Amazon S3 verfolgt. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option gibt die maximale Anzahl von Dateien an, die aus den letzten maxBand Sekunden gespeichert werden sollen. Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die S3-Parkett-Quelle an.

S3DeltaSource -Struktur

Gibt eine Delta-Lake-Datenquelle an, die in gespeichert ist Amazon S3.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Delta-Lake-Quelle.

• Paths – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen an.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Optionen für den Konnektor an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

S3CatalogDeltaSource -Struktur

Gibt eine Delta-Lake-Datenquelle an, die im AWS Glue Data Catalog registriert ist. Die Datenquelle muss in gespeichert werden Amazon S3.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Delta-Lake-Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

CatalogDeltaSource -Struktur

Gibt eine Delta-Lake-Datenquelle an, die im AWS Glue Data Catalog registriert ist.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Delta-Lake-Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

S3HudiSource -Struktur

Gibt eine Hudi-Datenquelle an, die in gespeichert ist Amazon S3.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Hudi-Quelle.

• Paths – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen an.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Optionen für den Konnektor an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

S3CatalogHudiSource -Struktur

Gibt eine Hudi-Datenquelle an, die im AWS Glue Data Catalog registriert ist. Die Hudi-Datenquelle muss in gespeichert werden Amazon S3.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Hudi-Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

CatalogHudiSource Struktur

Gibt eine Hudi-Datenquelle an, die im AWS Glue Data Catalog registriert ist.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Hudi-Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

DynamoDBCatalogSource -Struktur

Gibt eine DynamoDB-Datenquelle im AWS Glue Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

RelationalCatalogSource -Struktur

Gibt eine Datenquelle für relationale Datenbank im AWS Glue -Datenkatalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenquelle.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

JDBC-ConnectorTarget Struktur

Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• ConnectionName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectionTable – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #35 übereinstimmt.

  Der Name der Tabelle im Datenziel.

• ConnectorName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Einen Namen für den Konnektor, der verwendet werden wird.

• ConnectionType – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Art der Verbindung, wie marketplace.jdbc oder custom.jdbc, die eine Verbindung zu einem JDBC-Datenziel bezeichnet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das JDBC-Ziel an.

SparkConnectorTarget -Struktur

Gibt ein Ziel an, das einen Apache-Spark-Konnektor verwendet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• ConnectionName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name einer Verbindung für einen Apache-Spark-Konnektor.

• ConnectorName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name eines Apache-Spark-Konnektors.

• ConnectionType – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Art der Verbindung, wie marketplace.spark oder custom.spark, die eine Verbindung zu einem Apache-Spark-Datenspeicher bezeichnet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das benutzerdefinierte Spark-Ziel an.

BasicCatalogTarget -Struktur

Gibt ein Ziel an, das eine AWS Glue Data-Catalog-Tabelle verwendet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name Ihres Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Datenbank, die die Tabelle enthält, die Sie als Ziel verwenden möchten. Diese Datenbank muss bereits im Data Catalog vorhanden sein.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Tabelle, die das Schema Ihrer Ausgabedaten definiert. Diese Tabelle muss bereits im -Data Catalog vorhanden sein.

MySQLCatalogTarget -Struktur

Gibt ein Ziel an, das MySQL verwendet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

PostgreSQLCatalogTarget -Struktur

Gibt ein Ziel an, das Postgres SQL verwendet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

OracleSQLCatalogTarget -Struktur

Gibt ein Ziel an, das Oracle SQL verwendet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

MicrosoftSQLServerCatalogTarget -Struktur

Gibt ein Ziel an, das Microsoft SQL verwendet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

RedshiftTarget -Struktur

Gibt ein Ziel an, das Amazon Redshift verwendet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• RedshiftTmpDir – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• TmpDirIAMRole – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die IAM-Rolle mit Berechtigungen.

• UpsertRedshiftOptions – Ein UpsertRedshiftTargetOptions-Objekt.

  Die Reihe von Optionen zum Konfigurieren einer Upsert-Operation beim Schreiben in ein Redshift-Ziel.

AmazonRedshiftTarget -Struktur

Gibt ein Amazon-Redshift-Ziel an.

Felder

• Name – UTF-8-Zeichenfolge, die Custom string pattern #37 entspricht.

  Der Name des Amazon-Redshift-Ziels.

• Data – Ein AmazonRedshiftNodeData-Objekt.

  Gibt die Daten des Amazon-Redshift-Zielknotens an.

• Inputs – Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolgen.

  Die Knoten, die Eingaben für das Datenziel sind.

UpsertRedshiftTargetOptions -Struktur

Die Optionen zum Konfigurieren einer Upsert-Operation beim Schreiben in ein Redshift-Ziel.

Felder

• TableLocation – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der physische Standort der Redshift-Tabelle.

• ConnectionName – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Name der Verbindung, die zum Schreiben in Redshift verwendet werden soll.

• UpsertKeys – Ein UTF-8-Zeichenfolgen-Array.

  Die Schlüssel, mit denen festgestellt wird, ob eine Aktualisierung oder ein Einfügen durchgeführt werden soll.

S3CatalogTarget -Struktur

Gibt ein Datenziel an, das mithilfe des AWS Glue Data Catalog in Amazon S3 schreibt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys – Ein UTF-8-Zeichenfolgen-Array.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3GlueParquetTarget -Struktur

Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys – Ein UTF-8-Zeichenfolgen-Array.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Ein einziger Amazon S3-Pfad, in den geschrieben wird.

• Compression – UTF-8-Zeichenfolge (zulässige Werte: snappy="SNAPPY" | lzo="LZO" | gzip="GZIP" | uncompressed="UNCOMPRESSED" | none="NONE").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

CatalogSchemaChangePolicy -Struktur

Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

Felder

• EnableUpdateCatalog – Boolesch.

  Ob das Aktualisierungsverhalten verwendet werden soll, wenn der Crawler ein geändertes Schema findet.

• UpdateBehavior – UTF-8-Zeichenfolge (zulässige Werte: UPDATE_IN_DATABASE | LOG).

  Das Aktualisierungsverhalten, wenn der Crawler ein geändertes Schema findet.

S3DirectTarget -Struktur

Gibt ein Datenziel an, das an Amazon S3 schreibt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys – Ein UTF-8-Zeichenfolgen-Array.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Ein einziger Amazon S3-Pfad, in den geschrieben wird.

• Compression – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Format – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA").

  Gibt das Datenausgabeformat für das Ziel an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3HudiCatalogTarget -Struktur

Gibt ein Ziel an, das in eine Hudi-Datenquelle im AWS Glue Data Catalog schreibt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys – Ein UTF-8-Zeichenfolgen-Array.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• AdditionalOptions – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3HudiDirectTarget -Struktur

Gibt ein Ziel an, das in eine Hudi-Datenquelle in schreibt Amazon S3.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Path – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Amazon-S3-Pfad Ihrer Hudi-Datenquelle, in die geschrieben werden soll.

• Compression – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: gzip="GZIP" | lzo="LZO" | uncompressed="UNCOMPRESSED" | snappy="SNAPPY").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• PartitionKeys – Ein UTF-8-Zeichenfolgen-Array.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Format – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA").

  Gibt das Datenausgabeformat für das Ziel an.

• AdditionalOptions – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3DeltaCatalogTarget -Struktur

Gibt ein Ziel an, das in eine Delta-Lake-Datenquelle im AWS Glue Data Catalog schreibt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys – Ein UTF-8-Zeichenfolgen-Array.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3DeltaDirectTarget -Struktur

Gibt ein Ziel an, das in eine Delta-Lake-Datenquelle in schreibt Amazon S3.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys – Ein UTF-8-Zeichenfolgen-Array.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Amazon-S3-Pfad Ihrer Delta-Lake-Datenquelle, in die geschrieben werden soll.

• Compression – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: uncompressed="UNCOMPRESSED" | snappy="SNAPPY").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Format – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA").

  Gibt das Datenausgabeformat für das Ziel an.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

DirectSchemaChangePolicy -Struktur

Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

Felder

• EnableUpdateCatalog – Boolesch.

  Ob das Aktualisierungsverhalten verwendet werden soll, wenn der Crawler ein geändertes Schema findet.

• UpdateBehavior – UTF-8-Zeichenfolge (zulässige Werte: UPDATE_IN_DATABASE | LOG).

  Das Aktualisierungsverhalten, wenn der Crawler ein geändertes Schema findet.

• Table – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt die Tabelle in der Datenbank an, für die die Schemaänderungsrichtlinie gilt.

• Database – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt die Datenbank an, für die die Schemaänderungsrichtlinie gilt.

ApplyMapping -Struktur

Gibt eine Transformation an, die Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel zuordnet. Sie können Schlüssel umbenennen, die Datentypen für Schlüssel ändern und die Schlüssel auswählen, die aus dem Datensatz gelöscht werden sollen.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Mapping – Erforderlich: Ein Array mit Mapping-Objekten.

  Gibt die Zuordnung der Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel an.

Mapping-Struktur

Gibt die Zuordnung von Dateneigenschaftsschlüsseln an.

Felder

• ToKey – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Was der Name der Spalte nach dem Apply-Mapping sein soll. Kann gleich sein wie FromPath.

• FromPath – Ein UTF-8-Zeichenfolgen-Array.

  Die Tabelle oder Spalte, die geändert werden soll.

• FromType – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Typ der zu ändernden Daten.

• ToType – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Der Datentyp, zu dem die Daten geändert werden sollen.

• Dropped – Boolesch.

  Wenn „true“, wird die Spalte entfernt.

• Children – Ein Array mit Mapping-Objekten.

  Gilt nur für verschachtelte Datenstrukturen. Wenn Sie die übergeordnete Struktur, aber auch eines ihrer untergeordneten Elemente ändern möchten, können Sie diese Datenstruktur ausfüllen. Es ist ebenfalls Mapping, aber sein FromPath wird der übergeordnete FromPath mit dem FromPath aus dieser Struktur an.

  Nehmen wir für den untergeordneten Teil an, Sie haben die Struktur:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

  Sie können ein Mapping angeben, das wie folgt aussieht:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

SelectFields -Struktur

Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie beibehalten möchten.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur.

DropFields -Struktur

Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie löschen möchten.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur.

RenameField -Struktur

Gibt eine Transformation an, die einen einzelnen Dateneigenschaftsschlüssel umbenennt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• SourcePath – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur für die Quelldaten.

• TargetPath – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur für die Zieldaten.

Spigot-Struktur

Gibt eine Transformation an, die Beispiele der Daten in einen Amazon S3-Bucket schreibt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Path – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Ein Pfad in Amazon S3, in dem die Transformation eine Teilmenge von Akten aus dem Datensatz in eine JSON-Datei in einem Amazon-S3-Bucket schreibt.

• Topk – Zahl (Ganzzahl), nicht mehr als 100.

  Gibt eine Reihe von Datensätzen an, die ab dem Anfang des Datensatzes geschrieben werden sollen.

• Prob – Zahl (Double), nicht mehr als 1.

  Die Wahrscheinlichkeit (ein Dezimalwert mit einem Höchstwert von 1), einen bestimmten Datensatz auszuwählen. Der Wert 1 gibt an, dass jede aus dem Datensatz gelesene Zeile in die Beispielausgabe aufgenommen werden sollte.

Join-Struktur

Gibt eine Transformation an, die zwei Datensätze mit einer Vergleichsphrase für die angegebenen Dateneigenschaftsschlüssel zu einem Datensatz zusammenführt. Sie können innere, äußere, linke, rechte, linke Hälfte und linke Anti-Joins verwenden.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 2 und nicht mehr als 2 Zeichenfolgen.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• JoinType – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: equijoin="EQUIJOIN" | left="LEFT" | right="RIGHT" | outer="OUTER" | leftsemi="LEFT_SEMI" | leftanti="LEFT_ANTI").

  Gibt den Typ des Join an, der für die Datensätze ausgeführt werden soll.

• Columns – Erforderlich: Ein Array mit JoinColumn-Objekten, nicht weniger als 2 und nicht mehr als 2 Strukturen.

  Eine Liste der beiden zu verbindenden Spalten.

JoinColumn -Struktur

Gibt eine Spalte an, die verbunden werden soll.

Felder

• From – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Spalte, die verbunden werden soll.

• Keys – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Der Schlüssel der zu verbindenden Spalte.

SplitFields -Struktur

Gibt eine Transformation an, die Dateneigenschaftsschlüssel in zwei teDynamicFrames aufteilt. Die Ausgabe ist eine Sammlung von DynamicFrames: Einer mit ausgewählten Dateneigenschaftsschlüsseln und einer mit den übrigen Dateneigenschaftsschlüsseln.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur.

SelectFromCollection -Struktur

Gibt eine Transformation an, die einen DynamicFrame aus einer Reihe von DynamicFrames auswählt. Die Ausgabe ist das ausgewählte DynamicFrame.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Index – Erforderlich: Zahl (Ganzzahl), nicht mehr als Keine.

  Der Index für die DynamicFrame auszuwählende .

FillMissingValues -Struktur

Gibt eine Transformation an, bei der Akten im Datensatz gesucht werden können, die fehlende Werte aufweisen, und die ein neues Feld mit einem durch Imputation bestimmten Wert hinzufügt. Mit dem Eingabedatensatz wird das Modell zum Machine Learning (ML) trainiert, das den fehlenden Wert bestimmt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• ImputedPath – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur für den Datensatz, der unterstellt wird.

• FilledPath – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur für den Datensatz, der ausgefüllt wird.

Filter-Struktur

Gibt eine Transformation an, die einen Datensatz basierend auf einer Filterbedingung in zwei Teile teilt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• LogicalOperator – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: AND | OR).

  Der Operator, der verwendet wurde, um Zeilen zu filtern, indem er den Schlüsselwert mit einem bestimmten Wert vergleicht.

• Filters – Erforderlich: Ein Array mit FilterExpression-Objekten.

  Gibt einen Filterausdruck an.

FilterExpression -Struktur

Gibt einen Filterausdruck an.

Felder

• Operation – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: EQ | LT | GT | LTE | GTE | REGEX | ISNULL).

  Der Typ des Vorgangs, der im Ausdruck ausgeführt werden soll.

• Negated – Boolesch.

  Ob der Ausdruck negiert werden soll.

• Values – Erforderlich: Ein Array mit FilterValue-Objekten.

  Eine Liste von Filterwerten.

FilterValue -Struktur

Stellt einen einzelnen Eintrag in der Liste von Werten für ein FilterExpression dar.

Felder

• Type – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: COLUMNEXTRACTED | CONSTANT).

  Der Typ des Filterwerts.

• Value – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Der Wert, der zugeordnet werden soll.

CustomCode -Struktur

Gibt eine Transformation an, die benutzerdefinierten Code verwendet, den Sie zur Durchführung der Datentransformation bereitstellen. Die Ausgabe ist eine Sammlung von DynamicFrames.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich:Ein Array mit UTF-8-Zeichenfolgen, mindestens 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Code – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #29 übereinstimmt.

  Der benutzerdefinierte Code, der zur Durchführung der Datentransformation verwendet wird.

• ClassName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name, der für die benutzerdefinierte Code-Knotenklasse definiert wurde.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Codetransformation an.

SparkSQL-Struktur

Gibt eine Transformation an, bei der Sie eine SQL-Abfrage mit der Spark SQL-Syntax eingeben, um die Daten zu transformieren. Die Ausgabe ist ein einzelner DynamicFrame.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich:Ein Array mit UTF-8-Zeichenfolgen, mindestens 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben. Sie können jedem Eingabeknoten einen Tabellennamen zuordnen, der in der SQL-Abfrage verwendet werden soll. Der von Ihnen gewählte Name muss den Benennungsbeschränkungen von Spark SQL entsprechen.

• SqlQuery – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #36 übereinstimmt.

  Eine SQL-Abfrage, die die Spark SQL-Syntax verwenden und einen einzelnen Datensatz zurückgeben muss.

• SqlAliases – Erforderlich: Ein Array mit SqlAlias-Objekten.

  Eine Liste von Aliasen. Mit einem Alias können Sie angeben, welcher Namen in der SQL für eine bestimmte Eingabe verwendet werden soll. Sie haben beispielsweise eine Datenquelle mit dem Namen „MyDataSource“. Wenn Sie From als MyDataSourceund Alias als angeben SqlName, können Sie in Ihrem SQL Folgendes tun:

  select * from SqlName

  und , die Daten von abrufen MyDataSource.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die sparkSQL-Transformation an.

SqlAlias Struktur

Stellt einen einzelnen Eintrag in der Liste von Werten für SqlAliases dar.

Felder

• From – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #33 übereinstimmt.

  Eine Tabelle oder eine Spalte in einer Tabelle.

• Alias – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #35 übereinstimmt.

  Ein temporärer Name, der einer Tabelle oder einer Spalte in einer Tabelle gegeben wird.

DropNullFields Struktur

Gibt eine Transformation an, die Spalten aus dem Datensatz entfernt, wenn alle Werte in der Spalte „null“ sind. Standardmäßig erkennt AWS Glue Studio Null-Objekte, aber einige Werte wie leere Zeichenfolgen, Zeichenfolgen, die „null“ sind, -1 Ganzzahlen oder andere Platzhalter wie Nullen werden nicht automatisch als Nullen erkannt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• NullCheckBoxList – Ein NullCheckBoxList-Objekt.

  Eine Struktur, die angibt, ob bestimmte Werte als zu entfernende Nullwerte erkannt werden.

• NullTextList – Ein Array mit NullValueField-Objekten, nicht mehr als 50 Strukturen.

  Eine Struktur, die eine Liste von NullValueField Strukturen angibt, die einen benutzerdefinierten Nullwert wie Null oder einen anderen Wert darstellen, der als für den Datensatz eindeutigen Null-Platzhalter verwendet wird.

  Die DropNullFields-Transformation entfernt benutzerdefinierte Nullwerte nur, wenn sowohl der Wert des Nullplatzhalters als auch der Datentyp mit den Daten übereinstimmen.

NullCheckBoxList Struktur

Gibt an, ob bestimmte Werte als zu entfernende Nullwerte erkannt werden.

Felder

• IsEmpty – Boolesch.

  Gibt an, dass eine leere Zeichenfolge als Nullwert angesehen wird.

• IsNullString – Boolesch.

  Gibt an, dass ein Wert, der das Wort 'null' ausgibt, als Nullwert betrachtet wird.

• IsNegOne – Boolesch.

  Gibt an, dass ein Ganzzahlwert von -1 als Nullwert angesehen wird.

NullValueField Struktur

Stellt einen benutzerdefinierten Nullwert wie Null oder einen anderen Wert dar, der als für den Datensatz eindeutigen Null-Platzhalter verwendet wird.

Felder

• Value – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Wert des Null-Platzhalters.

• Datatype – Erforderlich: Ein Datatype-Objekt.

  Der Datentyp des Wertes.

Datatype-Struktur

Eine Struktur, die den Datentyp des Wertes darstellt.

Felder

• Id – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #33 übereinstimmt.

  Der Datentyp des Wertes.

• Label – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #33 übereinstimmt.

  Ein Label, das dem Datentyp zugewiesen ist.

Merge-Struktur

Gibt eine Transformation an, die ein DynamicFrame mit einem Staging-DynamicFrame basierend auf den angegebenen Primärschlüsseln zusammenführt, um Datensätze zu identifizieren. Doppelte Datensätze (Datensätze mit denselben Primärschlüsseln) werden nicht dedupliziert.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 2 und nicht mehr als 2 Zeichenfolgen.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Source – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #33 übereinstimmt.

  Der DynamicFrame der Quelle, der mit einem Staging-DynamicFrame zusammengeführt werden wird.

• PrimaryKeys – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Die Liste der Primärschlüsselfelder, die Datensätze aus den Quell- und dynamischen Staging-Frames abgleichen.

Union-Struktur

Gibt eine Transformation an, die die Zeilen aus zwei oder mehr Datensätzen zu einem einzigen Ergebnis kombiniert.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 2 und nicht mehr als 2 Zeichenfolgen.

  Die Knoten-ID gibt die Transformation ein.

• UnionType – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: ALL | DISTINCT).

  Gibt den Typ der Union-Transformation an.

  Geben Sie anALL, um alle Zeilen aus Datenquellen mit dem resultierenden zu verknüpfen DynamicFrame. Die resultierende Verbindung entfernt keine doppelten Zeilen.

  Geben Sie anDISTINCT, um doppelte Zeilen in der resultierenden zu entfernen DynamicFrame.

PIIDetektionsstruktur

Gibt eine Transformation an, die PII-Daten identifiziert, entfernt oder maskiert.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten-ID gibt die Transformation ein.

• PiiType – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: RowAudit | RowMasking | ColumnAudit | ColumnMasking).

  Gibt den Typ der PIIDetektion-Transformation an.

• EntityTypesToDetect – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Gibt die Typen von Entitäten an, die die PIIDetection-Transformation als PII-Daten identifiziert.

  Zu den Elementen des PII-Typs gehören: PERSON_NAME, DATE, USA_SNN, EMAIL, USA_ITIN, USA_PASSPORT_NUMBER, PHONE_NUMBER, BANK_ACCOUNT, IP_ADDRESS, MAC_ADDRESS, USA_CPT_CODE, USA_HCPCS_CODE, USA_NATIONAL_DRUG_CODE, USA_MEDICARE_BENEFICIARY_IDENTIFIER, USA_HEALTH_INSURANCE_CLAIM_NUMBER,CREDIT_CARD,USA_NATIONAL_PROVIDER_IDENTIFIER,USA_DEA_NUMBER,USA_DRIVING_LICENSE

• OutputColumnName – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt den Namen der Ausgabespalte an, der jeden in dieser Zeile erkannten Entitätstyp enthält.

• SampleFraction – Zahl (Double), nicht mehr als 1.

  Gibt den Bruchteil der Daten an, die beim Scannen nach PII-Entitäten erfasst werden sollen.

• ThresholdFraction – Zahl (Double), nicht mehr als 1.

  Gibt den Bruchteil der Daten an, der erfüllt sein muss, damit eine Spalte als PII-Daten identifiziert werden kann.

• MaskValue – UTF-8-Zeichenfolge, nicht mehr als 256 Bytes lang, passend zum Custom string pattern #31.

  Gibt den Wert an, der die erkannte Entität ersetzt.

Aggregierte Struktur

Gibt eine Transformation an, die Zeilen nach ausgewählten Feldern gruppiert und den aggregierten Wert nach der angegebenen Funktion berechnet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Gibt die Felder und Zeilen an, die als Eingaben für die Aggregat-Transformation verwendet werden sollen.

• Groups – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Gibt die Felder an, nach denen gruppiert werden sollen.

• Aggs – Erforderlich: Ein Array mit AggregateOperation-Objekten, nicht weniger als 1 und nicht mehr als 30 Strukturen.

  Gibt die Aggregatfunktionen an, die für bestimmte Felder ausgeführt werden sollen.

DropDuplicates -Struktur

Gibt eine Transformation an, die Zeilen mit sich wiederholenden Daten aus einem Datensatz entfernt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Transform-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Columns – Ein UTF-8-Zeichenfolgen-Array.

  Der Name der Spalten, die bei Wiederholung zusammengeführt oder entfernt werden sollen.

GovernedCatalogTarget -Struktur

Gibt ein Datenziel an, das mithilfe des AWS Glue Data Catalog in Amazon S3 schreibt.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datenziels.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys – Ein UTF-8-Zeichenfolgen-Array.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der Name der Datenbank, in die geschrieben wird.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, die das Aktualisierungsverhalten für den verwalteten Katalog festlegt.

GovernedCatalogSource -Struktur

Gibt den Datenspeicher im verwalteten AWS Glue Data Catalog an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Datastores.

• Database – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die Datenbank, aus der gelesen werden soll.

• Table – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die zu lesende Datenbanktabelle.

• PartitionPredicate – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht. Festgelegt auf "" – standardmäßig auf leer festgelegt.

• AdditionalOptions – Ein S3SourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

AggregateOperation -Struktur

Gibt den Parametersatz an, der zum Ausführen der Aggregation in der Aggregations-Transformation erforderlich ist.

Felder

• Column – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  Gibt die Spalte im Datensatz an, auf die die Aggregationsfunktion angewendet wird.

• AggFunc – Erforderlich: UTF-8-Zeichenfolge (gültige Werte: avg | countDistinct | count | first | last | kurtosis | max | min | skewness | stddev_samp | stddev_pop | sum | sumDistinct | var_samp | var_pop).

  Gibt die Aggregationsfunktion an, die angewendet werden soll.

  Zu den möglichen Aggregationsfunktionen gehören: avg countDistinct, count, first, last, kurtosis, max, min, skewness, stddev_samp, stddev_pop, sum, sumDistinct, var_samp, var_pop

GlueSchema -Struktur

Gibt ein benutzerdefiniertes Schema an, wenn ein Schema nicht durch AWS Gluebestimmt werden kann.

Felder

• Columns – Ein Array mit GlueStudioSchemaColumn-Objekten.

  Gibt die Spaltendefinitionen an, aus denen ein AWS Glue Schema besteht.

GlueStudioSchemaColumn -Struktur

Gibt eine einzelne Spalte in einer AWS Glue Schemadefinition an.

Felder

• Name – Erforderlich: UTF-8-String, nicht mehr als 1 024 Bytes lang, passend zum Single-line string pattern.

  Der Name der Spalte im AWS Glue Studio-Schema.

• Type – UTF-8-Zeichenfolge, nicht mehr als 131 072 Bytes lang, passend zum Single-line string pattern.

  Der Hive-Typ für diese Spalte im AWS Glue Studio-Schema.

GlueStudioColumn -Struktur

Gibt eine einzelne Spalte in AWS GlueStudio an.

Felder

• Key – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #35 übereinstimmt.

  Der Schlüssel der Spalte in AWS Glue Studio.

• FullPath – Erforderlich: Ein Array von UTF-8-Zeichenketten.

  TThe vollständige URL der Spalte in AWS Glue Studio.

• Type – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: array="ARRAY" | bigint="BIGINT" | bigint array="BIGINT_ARRAY" | binary="BINARY" | binary array="BINARY_ARRAY" | boolean="BOOLEAN" | boolean array="BOOLEAN_ARRAY" | byte="BYTE" | byte array="BYTE_ARRAY" | char="CHAR" | char array="CHAR_ARRAY" | choice="CHOICE" | choice array="CHOICE_ARRAY" | date="DATE" | date array="DATE_ARRAY" | decimal="DECIMAL" | decimal array="DECIMAL_ARRAY" | double="DOUBLE" | double array="DOUBLE_ARRAY" | enum="ENUM" | enum array="ENUM_ARRAY" | float="FLOAT" | float array="FLOAT_ARRAY" | int="INT" | int array="INT_ARRAY" | interval="INTERVAL" | interval array="INTERVAL_ARRAY" | long="LONG" | long array="LONG_ARRAY" | object="OBJECT" | short="SHORT" | short array="SHORT_ARRAY" | smallint="SMALLINT" | smallint array="SMALLINT_ARRAY" | string="STRING" | string array="STRING_ARRAY" | timestamp="TIMESTAMP" | timestamp array="TIMESTAMP_ARRAY" | tinyint="TINYINT" | tinyint array="TINYINT_ARRAY" | varchar="VARCHAR" | varchar array="VARCHAR_ARRAY" | null="NULL" | unknown="UNKNOWN" | unknown array="UNKNOWN_ARRAY").

  TThe Typ der Spalte in AWS Glue Studio.

• Children – Eine Reihe von Strukturen.

  TThe untergeordneten Elemente der übergeordneten Spalte in AWS Glue Studio.

DynamicTransform -Struktur

Gibt den Parametersatz an, der zum Ausführen der dynamischen Transformation erforderlich ist.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Gibt den Namen der dynamischen Transformation an.

• TransformName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Gibt den Namen der dynamischen Transformation an, wie er im visuellen AWS Glue Studio-Editor angezeigt wird.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Gibt die erforderlichen Eingaben für die dynamische Transformation an.

• Parameters – Ein Array mit TransformConfigParameter-Objekten.

  Gibt die Parameter der dynamischen Transformation an.

• FunctionName – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Gibt den Namen der Funktion der dynamischen Transformation an.

• Path – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Gibt den Pfad der Quell- und Konfigurationsdateien der dynamischen Transformation an.

• Version – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Dieses Feld wird nicht verwendet und wird in zukünftigen Versionen veraltet sein.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die dynamische Transformation an.

TransformConfigParameter -Struktur

Gibt die Parameter in der Konfigurationsdatei der dynamischen Transformation an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Gibt den Namen des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• Type – Erforderlich: UTF-8-Zeichenfolge (zulässige Werte: str="STR" | int="INT" | float="FLOAT" | complex="COMPLEX" | bool="BOOL" | list="LIST" | null="NULL").

  Gibt den Parametertyp in der Konfigurationsdatei der dynamischen Transformation an.

• ValidationRule – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt die Validierungsregel in der Konfigurationsdatei der dynamischen Transformation an.

• ValidationMessage – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt die Validierungsnachricht in der Konfigurationsdatei der dynamischen Transformation an.

• Value – Ein UTF-8-Zeichenfolgen-Array.

  Gibt den Wert des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• ListType – UTF-8-Zeichenfolge (zulässige Werte: str="STR" | int="INT" | float="FLOAT" | complex="COMPLEX" | bool="BOOL" | list="LIST" | null="NULL").

  Gibt den Listentyp des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• IsOptional – Boolesch.

  Gibt an, ob der Parameter in der Konfigurationsdatei der dynamischen Transformation optional ist oder nicht.

EvaluateDataQuality -Struktur

Gibt Ihre Auswertungskriterien für die Datenqualität an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenqualitätsbewertung.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Eingaben Ihrer Datenqualitätsbewertung.

• Ruleset – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 65 536 Bytes lang, passend zum Custom string pattern #32.

  Der Regelsatz für Ihre Bewertung der Datenqualität.

• Output – UTF-8-Zeichenfolge (zulässige Werte: PrimaryInput | EvaluationResults).

  Das Ergebnis Ihrer Datenqualitätsbewertung.

• PublishingOptions – Ein DQResultsPublishingOptions-Objekt.

  Optionen zum Konfigurieren der Veröffentlichung Ihrer Ergebnisse.

• StopJobOnFailureOptions – Ein DQStopJobOnFailureOptions-Objekt.

  Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.

DQ-ResultsPublishingOptions Struktur

Optionen zum Konfigurieren der Veröffentlichung der Ergebnisse Ihrer Datenqualitätsauswertung.

Felder

• EvaluationContext – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Der Kontext der Bewertung.

• ResultsS3Prefix – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Das Amazon-S3-Präfix wurde den Ergebnissen vorangestellt.

• CloudWatchMetricsEnabled – Boolesch.

  Aktivieren Sie Metriken für Ihre Datenqualitätsergebnisse.

• ResultsPublishingEnabled – Boolesch.

  Aktivieren Sie die Veröffentlichung Ihrer Datenqualitätsergebnisse.

DQ-StopJobOnFailureOptions Struktur

Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.

Felder

• StopJobOnFailureTiming – UTF-8-Zeichenfolge (zulässige Werte: Immediate | AfterDataLoad).

  Wann Sie den Auftrag anhalten sollten, wenn Ihre Datenqualitätsbewertung fehlschlägt. Optionen sind Sofort oder AfterDataLoad.

EvaluateDataQualityMultiFrame -Struktur

Gibt Ihre Auswertungskriterien für die Datenqualität an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Datenqualitätsbewertung.

• Inputs – Erforderlich:Ein Array mit UTF-8-Zeichenfolgen, mindestens 1 Zeichenfolge.

  Die Eingaben Ihrer Datenqualitätsbewertung. Die erste Eingabe in dieser Liste ist die primäre Datenquelle.

• AdditionalDataSources – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #37 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Die Aliase aller Datenquellen mit Ausnahme der primären.

• Ruleset – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 65 536 Bytes lang, passend zum Custom string pattern #32.

  Der Regelsatz für Ihre Bewertung der Datenqualität.

• PublishingOptions – Ein DQResultsPublishingOptions-Objekt.

  Optionen zum Konfigurieren der Veröffentlichung Ihrer Ergebnisse.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge (gültige Werte: performanceTuning.caching="CacheOption" | observations.scope="ObservationsOption").

  Jeder Wert ist eine UTF-8-Zeichenfolge.

  Optionen zum Konfigurieren des Laufzeitverhaltens der Transformation.

• StopJobOnFailureOptions – Ein DQStopJobOnFailureOptions-Objekt.

  Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.

Struktur des Rezepts

Ein AWS Glue Studio-Knoten, der ein AWS Glue DataBrew Rezept in AWS Glue Aufträgen verwendet.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des AWS Glue Studio-Knotens.

• Inputs – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für den Rezeptknoten sind, identifiziert durch die ID.

• RecipeReference – Erforderlich: Ein RecipeReference-Objekt.

  Ein Verweis auf das vom Knoten verwendete DataBrew Rezept.

RecipeReference -Struktur

Ein Verweis auf ein AWS Glue DataBrew Rezept.

Felder

• RecipeArn – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Der ARN des DataBrew Rezepts.

• RecipeVersion – Erforderlich: UTF-8-Zeichenkette, nicht weniger als 1 oder mehr als 16 Bytes lang.

  Die RecipeVersion des DataBrew Rezepts.

SnowflakeNodeData -Struktur

Gibt die Konfiguration für Snowflake-Knoten in AWS Glue Studio an.

Felder

• SourceType – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Gibt an, wie abgerufene Daten angegeben werden. Zulässige Werte: "table", "query".

• Connection – Ein Option-Objekt.

  Gibt eine AWS Glue Data-Catalog-Verbindung zu einem Snowflake-Endpunkt an.

• Schema – UTF-8-Zeichenfolge.

  Gibt ein Snowflake-Datenbankschema an, das Ihr Knoten verwenden soll.

• Table – UTF-8-Zeichenfolge.

  Gibt eine Snowflake-Tabelle an, die Ihr Knoten verwenden soll.

• Database – UTF-8-Zeichenfolge.

  Gibt eine Snowflake-Datenbank an, die Ihr Knoten verwenden soll.

• TempDir – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Derzeit nicht verwendet.

• IamRole – Ein Option-Objekt.

  Derzeit nicht verwendet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Jeder Wert ist eine UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Gibt zusätzliche Optionen an, die an den Snowflake-Konnektor übergeben werden. Wenn an anderer Stelle in diesem Knoten Optionen angegeben werden, hat dies Vorrang.

• SampleQuery – UTF-8-Zeichenfolge.

  Eine SQL-Zeichenfolge, die zum Abrufen von Daten mit dem query-Quelltyp verwendet wird.

• PreAction – UTF-8-Zeichenfolge.

  Eine SQL-Zeichenfolge, die ausgeführt wird, bevor der Snowflake-Konnektor seine Standardaktionen ausführt.

• PostAction – UTF-8-Zeichenfolge.

  Eine SQL-Zeichenfolge, die ausgeführt wird, nachdem der Snowflake-Konnektor seine Standardaktionen ausgeführt hat.

• Action – UTF-8-Zeichenfolge.

  Gibt an, welche Aktion beim Schreiben in eine Tabelle mit bereits vorhandenen Daten ausgeführt werden soll. Zulässige Werte: append, merge, truncate, drop.

• Upsert – Boolesch.

  Wird verwendet, wenn die Aktion append ist. Gibt das Auflösungsverhalten an, wenn bereits eine Zeile vorhanden ist. Wenn der Wert wahr ist, werden bereits vorhandene Zeilen aktualisiert. Wenn der Wert falsch ist, werden diese Zeilen eingefügt.

• MergeAction – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Gibt eine Zusammenführungsaktion an. Zulässige Werte: simple, custom. Wenn das Zusammenführungsverhalten einfach ist, wird es durch MergeWhenMatched und MergeWhenNotMatched definiert. Falls benutzerdefiniert, durch MergeClause definiert.

• MergeWhenMatched – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Gibt an, wie Datensätze, die mit bereits vorhandenen Daten übereinstimmen, beim Zusammenführen aufgelöst werden. Zulässige Werte: update, delete.

• MergeWhenNotMatched – UTF-8-Zeichenfolge, die Custom string pattern #33 entspricht.

  Gibt an, wie Datensätze, die nicht mit bereits vorhandenen Daten übereinstimmen, beim Zusammenführen verarbeitet werden. Zulässige Werte: insert, none.

• MergeClause – UTF-8-Zeichenfolge.

  Eine SQL-Anweisung, die ein benutzerdefiniertes Zusammenführungsverhalten angibt.

• StagingTable – UTF-8-Zeichenfolge.

  Der Name einer Staging-Tabelle, die beim Ausführen von merge- oder Upsert-append-Aktionen verwendet wird. Daten werden in diese Tabelle geschrieben und dann durch eine generierte Folgeaktion nach table verschoben.

• SelectedColumns – Ein Array mit Option-Objekten.

  Gibt die kombinierten Spalten an, um einen Datensatz zu identifizieren, wenn Übereinstimmungen für Zusammenführungen und Upserts ermittelt werden. Eine Liste von Strukturen mit value-, label- und description-Schlüsseln. Jede Struktur beschreibt eine Spalte.

• AutoPushdown – Boolesch.

  Gibt an, ob der automatische Abfrage-Pushdown aktiviert ist. Wenn Pushdown aktiviert ist, wird bei der Ausführung einer Abfrage auf Spark ein Teil der Abfrage auf den Snowflake-Server „heruntergeschoben“, wenn dies möglich ist. Dies verbessert die Leistung einiger Abfragen.

• TableSchema – Ein Array mit Option-Objekten.

  Definiert das Zielschema für den Knoten manuell. Eine Liste von Strukturen mit value-, label- und description-Schlüsseln. Jede Struktur definiert eine Spalte.

SnowflakeSource -Struktur

Gibt eine Snowflake-Datenquelle an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name der Snowflake-Datenquelle.

• Data – Erforderlich: Ein SnowflakeNodeData-Objekt.

  Konfiguration für die Snowflake-Datenquelle.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt benutzerdefinierte Schemas für Ihre Ausgabedaten an.

SnowflakeTarget -Struktur

Gibt ein Snowflake-Ziel an.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name des Snowflake-Ziels.

• Data – Erforderlich: Ein SnowflakeNodeData-Objekt.

  Gibt die Daten des Snowflake-Zielknotens an.

• Inputs – Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolgen.

  Die Knoten, die Eingaben für das Datenziel sind.

ConnectorDataSource Struktur

Gibt eine Quelle an, die mit Standardverbindungsoptionen generiert wurde.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name dieses Quell-Knotens.

• ConnectionType – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die connectionType, wie sie der zugrunde liegenden AWS Glue Bibliothek zur Verfügung gestellt wird. Dieser Knotentyp unterstützt die folgenden Verbindungstypen:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

  Jeder Wert ist eine UTF-8-Zeichenfolge.

  Eine Zuordnung, die Verbindungsoptionen für den Knoten angibt. Die Standardverbindungsoptionen für den entsprechenden Verbindungstyp finden Sie im Abschnitt Verbindungsparameter der - AWS Glue Dokumentation.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für diese Quelle an.

ConnectorDataTarget Struktur

Gibt ein Ziel an, das mit Standardverbindungsoptionen generiert wurde.

Felder

• Name – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #37 übereinstimmt.

  Der Name dieses Ziel-Knotens.

• ConnectionType – Erforderlich: UTF-8-Zeichenfolge, die mit der Custom string pattern #34 übereinstimmt.

  Die connectionType, wie sie der zugrunde liegenden AWS Glue Bibliothek zur Verfügung gestellt wird. Dieser Knotentyp unterstützt die folgenden Verbindungstypen:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

  Jeder Wert ist eine UTF-8-Zeichenfolge.

  Eine Zuordnung, die Verbindungsoptionen für den Knoten angibt. Die Standardverbindungsoptionen für den entsprechenden Verbindungstyp finden Sie im Abschnitt Verbindungsparameter der - AWS Glue Dokumentation.

• Inputs – Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 1 Zeichenfolgen.

  Die Knoten, die Eingaben für das Datenziel sind.