Visueller Job API

Mit dem Visual-Job API können Sie Datenintegrationsaufträge erstellen, indem Sie das AWS Glue API From JSON a-Objekt verwenden, das eine visuelle Konfiguration eines AWS Glue Jobs darstellt.

Eine Liste von CodeGenConfigurationNodes wird für einen Erstellungs- oder Aktualisierungsauftrag bereitgestelltAPI, um einen DAG in AWS Glue Studio für den erstellten Job zu registrieren und den zugehörigen Code zu generieren.

Datentypen

• CodeGenConfigurationNode Struktur

• JDBCConnectorOptionsStruktur

• StreamingDataPreviewOptions Struktur

• AthenaConnectorSource Struktur

• JDBCConnectorSourceStruktur

• SparkConnectorSource Struktur

• CatalogSource Struktur

• M — Struktur der ySQLCatalog Quelle

• P — Struktur der ostgreSQLCatalog Quelle

• O — Struktur der racleSQLCatalog Quelle

• M-Struktur icrosoftSQLServer CatalogSource

• CatalogKinesisSource Struktur

• DirectKinesisSource Struktur

• KinesisStreamingSourceOptions Struktur

• CatalogKafkaSource Struktur

• DirectKafkaSource Struktur

• KafkaStreamingSourceOptions Struktur

• RedshiftSource Struktur

• AmazonRedshiftSource Struktur

• AmazonRedshiftNodeData Struktur

• AmazonRedshiftAdvancedOption Struktur

• Optionsstruktur

• S3-Struktur CatalogSource

• S3-Struktur SourceAdditionalOptions

• CsvSource S3-Struktur

• irectJDBCSource D-Struktur

• S3-Struktur DirectSourceAdditionalOptions

• S3-Struktur JsonSource

• ParquetSource S3-Struktur

• DeltaSource S3-Struktur

• S3-Struktur CatalogDeltaSource

• CatalogDeltaSource Struktur

• S3-Struktur HudiSource

• S3-Struktur CatalogHudiSource

• CatalogHudiSource Struktur

• D ynamoDBCatalog Quellstruktur

• RelationalCatalogSource Struktur

• JDBCConnectorTargetStruktur

• SparkConnectorTarget Struktur

• BasicCatalogTarget Struktur

• M — ySQLCatalog Zielstruktur

• P — ostgreSQLCatalog Zielstruktur

• O racleSQLCatalog Zielstruktur

• M-Struktur icrosoftSQLServer CatalogTarget

• RedshiftTarget Struktur

• AmazonRedshiftTarget Struktur

• UpsertRedshiftTargetOptions Struktur

• S3-Struktur CatalogTarget

• S3-Struktur GlueParquetTarget

• CatalogSchemaChangePolicy Struktur

• S3-Struktur DirectTarget

• S3-Struktur HudiCatalogTarget

• S3-Struktur HudiDirectTarget

• S3-Struktur DeltaCatalogTarget

• S3-Struktur DeltaDirectTarget

• DirectSchemaChangePolicy Struktur

• ApplyMapping Struktur

• Mapping-Struktur

• SelectFields Struktur

• DropFields Struktur

• RenameField Struktur

• Spigot-Struktur

• Join-Struktur

• JoinColumn Struktur

• SplitFields Struktur

• SelectFromCollection Struktur

• FillMissingValues Struktur

• Filter-Struktur

• FilterExpression Struktur

• FilterValue Struktur

• CustomCode Struktur

• Spark-Struktur SQL

• SqlAlias Struktur

• DropNullFields Struktur

• NullCheckBoxList Struktur

• NullValueField Struktur

• Datatype-Struktur

• Merge-Struktur

• Union-Struktur

• PIIDetectionStruktur

• Aggregierte Struktur

• DropDuplicates Struktur

• GovernedCatalogTarget Struktur

• GovernedCatalogSource Struktur

• AggregateOperation Struktur

• GlueSchema Struktur

• GlueStudioSchemaColumn Struktur

• GlueStudioColumn Struktur

• DynamicTransform Struktur

• TransformConfigParameter Struktur

• EvaluateDataQuality Struktur

• DQResultsPublishingOptionsStruktur

• DQStopJobOnFailureOptionsStruktur

• EvaluateDataQualityMultiFrame Struktur

• Struktur des Rezepts

• RecipeReference Struktur

• SnowflakeNodeData Struktur

• SnowflakeSource Struktur

• SnowflakeTarget Struktur

• ConnectorDataSource Struktur

• ConnectorDataTarget Struktur

• RecipeStep Struktur

• RecipeAction Struktur

• ConditionExpression Struktur

CodeGenConfigurationNode Struktur

CodeGenConfigurationNode zählt alle gültigen Knotentypen auf. Nur eine ihrer Membervariablen kann ausgefüllt werden.

Felder

• AthenaConnectorSource – Ein AthenaConnectorSource-Objekt.

  Gibt einen Konnektor zu einer Amazon Athena-Datenquelle an.

• JDBCConnectorSource – Ein JDBCConnectorSource-Objekt.

  Gibt einen Konnektor zu einer JDBC Datenquelle an.

• SparkConnectorSource – Ein SparkConnectorSource-Objekt.

  Gibt einen Konnektor zu einer Apache-Spark-Datenquelle an.

• CatalogSource – Ein CatalogSource-Objekt.

  Gibt einen Datenspeicher im AWS Glue Datenkatalog an.

• RedshiftSource – Ein RedshiftSource-Objekt.

  Gibt einen Amazon Redshift-Datenspeicher an.

• S3CatalogSource – Ein S3 CatalogSource-Objekt.

  Gibt einen Amazon S3 S3-Datenspeicher im AWS Glue Datenkatalog an.

• S3CsvSource – Ein S3 CsvSource-Objekt.

  Gibt einen durch Befehle getrennten Datenspeicher mit Wert (CSV) an, der in Amazon S3 gespeichert ist.

• S3JsonSource – Ein S3 JsonSource-Objekt.

  Gibt einen in Amazon S3 gespeicherten JSON Datenspeicher an.

• S3ParquetSource – Ein S3 ParquetSource-Objekt.

  Gibt einen Apache-Parquet-Datenspeicher an, der in Amazon S3 gespeichert ist.

• RelationalCatalogSource – Ein RelationalCatalogSource-Objekt.

  Gibt einen relationalen Katalogdatenspeicher im AWS Glue Datenkatalog an.

• DynamoDBCatalogSource – Ein D ynamoDBCatalog Quelle-Objekt.

  Gibt einen DBC Dynamo-Katalog-Datenspeicher im AWS Glue Datenkatalog an.

• JDBCConnectorTarget – Ein JDBCConnectorTarget-Objekt.

  Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

• SparkConnectorTarget – Ein SparkConnectorTarget-Objekt.

  Gibt ein Ziel an, das einen Apache-Spark-Konnektor verwendet.

• CatalogTarget – Ein BasicCatalogTarget-Objekt.

  Gibt ein Ziel an, das eine AWS Glue Datenkatalogtabelle verwendet.

• RedshiftTarget – Ein RedshiftTarget-Objekt.

  Gibt ein Ziel an, das Amazon Redshift verwendet.

• S3CatalogTarget – Ein S3 CatalogTarget-Objekt.

  Gibt ein Datenziel an, das mithilfe des AWS Glue Datenkatalogs in Amazon S3 schreibt.

• S3GlueParquetTarget – Ein S3 GlueParquetTarget-Objekt.

  Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

• S3DirectTarget – Ein S3 DirectTarget-Objekt.

  Gibt ein Datenziel an, das an Amazon S3 schreibt.

• ApplyMapping – Ein ApplyMapping-Objekt.

  Gibt eine Transformation an, die Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel zuordnet. Sie können Schlüssel umbenennen, die Datentypen für Schlüssel ändern und die Schlüssel auswählen, die aus dem Datensatz gelöscht werden sollen.

• SelectFields – Ein SelectFields-Objekt.

  Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie beibehalten möchten.

• DropFields – Ein DropFields-Objekt.

  Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie löschen möchten.

• RenameField – Ein RenameField-Objekt.

  Gibt eine Transformation an, die einen einzelnen Dateneigenschaftsschlüssel umbenennt.

• Spigot – Ein Spigot-Objekt.

  Gibt eine Transformation an, die Beispiele der Daten in einen Amazon S3-Bucket schreibt.

• Join – Ein Join-Objekt.

  Gibt eine Transformation an, die zwei Datensätze mit einer Vergleichsphrase für die angegebenen Dateneigenschaftsschlüssel zu einem Datensatz zusammenführt. Sie können innere, äußere, linke, rechte, linke Hälfte und linke Anti-Joins verwenden.

• SplitFields – Ein SplitFields-Objekt.

  Gibt eine Transformation an, die Dateneigenschaftsschlüssel in zwei teDynamicFrames aufteilt. Die Ausgabe ist eine Sammlung von DynamicFrames: Einer mit ausgewählten Dateneigenschaftsschlüsseln und einer mit den übrigen Dateneigenschaftsschlüsseln.

• SelectFromCollection – Ein SelectFromCollection-Objekt.

  Gibt eine Transformation an, die einen DynamicFrame aus einer Reihe von DynamicFrames auswählt. Die Ausgabe ist das ausgewählte DynamicFrame.

• FillMissingValues – Ein FillMissingValues-Objekt.

  Gibt eine Transformation an, bei der Akten im Datensatz gesucht werden können, die fehlende Werte aufweisen, und die ein neues Feld mit einem durch Imputation bestimmten Wert hinzufügt. Mit dem Eingabedatensatz wird das Modell zum Machine Learning (ML) trainiert, das den fehlenden Wert bestimmt.

• Filter – Ein Filter-Objekt.

  Gibt eine Transformation an, die einen Datensatz basierend auf einer Filterbedingung in zwei Teile teilt.

• CustomCode – Ein CustomCode-Objekt.

  Gibt eine Transformation an, die benutzerdefinierten Code verwendet, den Sie zur Durchführung der Datentransformation bereitstellen. Die Ausgabe ist eine Sammlung von DynamicFrames.

• SparkSQL – Ein Funke SQL-Objekt.

  Gibt eine Transformation an, bei der Sie eine SQL Abfrage mithilfe der SQL Spark-Syntax eingeben, um die Daten zu transformieren. Die Ausgabe ist ein einzelner DynamicFrame.

• DirectKinesisSource – Ein DirectKinesisSource-Objekt.

  Gibt eine direkte Amazon Kinesis-Datenquelle an.

• DirectKafkaSource – Ein DirectKafkaSource-Objekt.

  Gibt einen Apache-Kafka-Datenspeicher an.

• CatalogKinesisSource – Ein CatalogKinesisSource-Objekt.

  Gibt eine Kinesis-Datenquelle im AWS Glue Datenkatalog an.

• CatalogKafkaSource – Ein CatalogKafkaSource-Objekt.

  Gibt einen Apache-Kafka-Datenspeicher im Data Catalog an.

• DropNullFields – Ein DropNullFields-Objekt.

  Gibt eine Transformation an, die Spalten aus dem Datensatz entfernt, wenn alle Werte in der Spalte „null“ sind. Standardmäßig erkennt AWS Glue Studio Null-Objekte, aber einige Werte wie leere Zeichenketten, Zeichenketten, die „Null“ sind, ganze Zahlen vom Typ -1 oder andere Platzhalter wie Nullen, werden nicht automatisch als Nullen erkannt.

• Merge – Ein Merge-Objekt.

  Gibt eine Transformation an, die ein DynamicFrame mit einem Staging-DynamicFrame basierend auf den angegebenen Primärschlüsseln zusammenführt, um Datensätze zu identifizieren. Doppelte Datensätze (Datensätze mit denselben Primärschlüsseln) werden nicht dedupliziert.

• Union – Ein Union-Objekt.

  Gibt eine Transformation an, die die Zeilen aus zwei oder mehr Datensätzen zu einem einzigen Ergebnis kombiniert.

• PIIDetection – Ein PIIDetection-Objekt.

  Gibt eine Transformation an, die Daten identifiziert, entfernt oder maskiert. PII

• Aggregate – Ein Aggregate-Objekt.

  Gibt eine Transformation an, die Zeilen nach ausgewählten Feldern gruppiert und den aggregierten Wert nach der angegebenen Funktion berechnet.

• DropDuplicates – Ein DropDuplicates-Objekt.

  Gibt eine Transformation an, die Zeilen mit sich wiederholenden Daten aus einem Datensatz entfernt.

• GovernedCatalogTarget – Ein GovernedCatalogTarget-Objekt.

  Gibt ein Datenziel an, das in einen gesteuerten Katalog schreibt.

• GovernedCatalogSource – Ein GovernedCatalogSource-Objekt.

  Gibt eine Datenquelle in einem gesteuerten Datenkatalog an.

• MicrosoftSQLServerCatalogSource – Ein M icrosoftSQLServer CatalogSource-Objekt.

  Gibt eine SQL Microsoft-Serverdatenquelle im AWS Glue Datenkatalog an.

• MySQLCatalogSource – Ein M ySQLCatalog Quelle-Objekt.

  Gibt eine Meine SQL Datenquelle im AWS Glue Datenkatalog an.

• OracleSQLCatalogSource – Ein O racleSQLCatalog Quelle-Objekt.

  Gibt eine Oracle-Datenquelle im AWS Glue Datenkatalog an.

• PostgreSQLCatalogSource – Ein ostgreSQLCatalogP-Quelle-Objekt.

  Gibt eine Postgres-Datenquelle im SQL Datenkatalog an AWS Glue .

• MicrosoftSQLServerCatalogTarget – Ein M icrosoftSQLServer CatalogTarget-Objekt.

  Gibt ein Ziel an, das Microsoft verwendetSQL.

• MySQLCatalogTarget – Ein Mein ySQLCatalog Ziel-Objekt.

  Gibt ein Ziel an, das My verwendetSQL.

• OracleSQLCatalogTarget – Ein O racleSQLCatalog Ziel-Objekt.

  Gibt ein Ziel an, das Oracle verwendetSQL.

• PostgreSQLCatalogTarget – Ein P ostgreSQLCatalog Ziel-Objekt.

  Gibt ein Ziel an, das Postgres SQL verwendet.

• DynamicTransform – Ein DynamicTransform-Objekt.

  Gibt eine benutzerdefinierte visuelle Transformation an, die von einem Benutzer erstellt wurde.

• EvaluateDataQuality – Ein EvaluateDataQuality-Objekt.

  Gibt Ihre Auswertungskriterien für die Datenqualität an.

• S3CatalogHudiSource – Ein S3 CatalogHudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die im Datenkatalog registriert ist. AWS Glue Die Datenquelle muss in Amazon S3 gespeichert werden.

• CatalogHudiSource – Ein CatalogHudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.

• S3HudiSource – Ein S3 HudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die in gespeichert ist. Amazon S3

• S3HudiCatalogTarget – Ein S3 HudiCatalogTarget-Objekt.

  Gibt ein Ziel an, das in eine Hudi-Datenquelle im AWS Glue Datenkatalog schreibt.

• S3HudiDirectTarget – Ein S3 HudiDirectTarget-Objekt.

  Gibt ein Ziel an, das in eine Hudi-Datenquelle in schreibt. Amazon S3

• S3CatalogDeltaSource – Ein S3 CatalogDeltaSource-Objekt.

  Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist. Die Datenquelle muss in gespeichert werden Amazon S3.

• CatalogDeltaSource – Ein CatalogDeltaSource-Objekt.

  Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.

• S3DeltaSource – Ein S3 DeltaSource-Objekt.

  Gibt eine Delta Lake-Datenquelle an, die in gespeichert ist Amazon S3.

• S3DeltaCatalogTarget – Ein S3 DeltaCatalogTarget-Objekt.

  Gibt ein Ziel an, das in eine Delta Lake-Datenquelle im AWS Glue Datenkatalog schreibt.

• S3DeltaDirectTarget – Ein S3 DeltaDirectTarget-Objekt.

  Gibt ein Ziel an, das in eine Delta Lake-Datenquelle in schreibt Amazon S3.

• AmazonRedshiftSource – Ein AmazonRedshiftSource-Objekt.

  Gibt ein Ziel an, das in eine Datenquelle in Amazon Redshift schreibt.

• AmazonRedshiftTarget – Ein AmazonRedshiftTarget-Objekt.

  Gibt ein Ziel an, das in ein Datenziel in Amazon Redshift schreibt.

• EvaluateDataQualityMultiFrame – Ein EvaluateDataQualityMultiFrame-Objekt.

  Gibt Ihre Auswertungskriterien für die Datenqualität an. Ermöglicht mehrere Eingabedaten und gibt eine Sammlung von Dynamic Frames zurück.

• Recipe – Ein Rezept-Objekt.

  Gibt einen AWS Glue DataBrew Rezeptknoten an.

• SnowflakeSource – Ein SnowflakeSource-Objekt.

  Gibt eine Snowflake-Datenquelle an.

• SnowflakeTarget – Ein SnowflakeTarget-Objekt.

  Gibt ein Ziel an, das in eine Snowflake-Datenquelle schreibt.

• ConnectorDataSource – Ein ConnectorDataSource-Objekt.

  Gibt eine Quelle an, die mit Standardverbindungsoptionen generiert wurde.

• ConnectorDataTarget – Ein ConnectorDataTarget-Objekt.

  Gibt ein Ziel an, das mit Standardverbindungsoptionen generiert wurde.

JDBCConnectorOptionsStruktur

Zusätzliche Verbindungsoptionen für den Konnektor.

Felder

• FilterPredicate— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Zusätzliche Bedingungsklausel zum Filtern von Daten aus der Quelle. Zum Beispiel:

  BillingCity='Mountain View'

  Wenn Sie eine Abfrage anstelle eines Tabellennamens verwenden, sollten Sie überprüfen, ob die Abfrage mit dem angegebenen filterPredicate funktioniert.

• PartitionColumn— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name einer Ganzzahlspalte, die für die Partitionierung verwendet wird. Diese Option funktioniert nur, wenn sie in lowerBound, upperBound und numPartitions enthalten ist. Diese Option funktioniert genauso wie im SQL JDBC Spark-Reader.

• LowerBound – Zahl (lang), nicht mehr als Keine.

  Der Mindestwert von partitionColumn, der verwendet wird, um Partitionsschritte festzulegen.

• UpperBound – Zahl (lang), nicht mehr als Keine.

  Der Maximalwert von partitionColumn, der verwendet wird, um Partitionsschritte festzulegen.

• NumPartitions – Zahl (lang), nicht mehr als Keine.

  Die Anzahl an Partitionen. Dieser Wert, zusammen mit lowerBound (inklusive) und upperBound (exklusiv), bilden Partitionsschritte für generierte WHERE-Klauselausdrücke, die verwendet werden, um die partitionColumn aufzuteilen.

• JobBookmarkKeys— Ein Array von UTF -8 Zeichenketten.

  Der Name der Auftrags-Lesezeichenschlüssel, nach denen sortiert werden soll.

• JobBookmarkKeysSortOrder— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Legt eine auf- oder absteigende Sortierreihenfolge fest.

• DataTypeMapping – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8 (gültige Werte: ARRAY | BIGINT | BINARY | BIT | BLOB | BOOLEAN | CHAR | CLOB | DATALINK | DATE | DECIMAL | DISTINCT | DOUBLE | FLOAT | INTEGER | JAVA_OBJECT | LONGNVARCHAR | LONGVARBINARY | LONGVARCHAR | NCHAR | NCLOB | NULL | | NUMERIC | NVARCHAR | OTHER | REAL | REF | REF_CURSOR | ROWID | SMALLINT | SQLXML | STRUCT | TIME | TIME_WITH_TIMEZONE TIMESTAMP TIMESTAMP_WITH_TIMEZONE| TINYINT | VARBINARY |VARCHAR).

  Jeder Wert ist eine Zeichenfolge von UTF -8 (gültige Werte: DATE | STRING | TIMESTAMP | INT | FLOAT | | LONG | BIGDECIMAL | BYTE SHORT |DOUBLE).

  Benutzerdefinierte Datentypzuordnung, die eine Zuordnung von einem JDBC Datentyp zu einem AWS Glue Datentyp erstellt. Die Option "dataTypeMapping":{"FLOAT":"STRING"} ordnet beispielsweise Datenfelder vom Typ Java dem JDBC String Typ Java FLOAT zu, indem sie die ResultSet.getString() Methode des Treibers aufruft, und verwendet sie, um den AWS Glue Datensatz zu erstellen. Das ResultSet-Objekt wird von jedem Treiber implementiert, sodass das Verhalten spezifisch für den von Ihnen verwendeten Treiber ist. Informationen darüber, wie der JDBC Treiber die Konvertierungen durchführt, finden Sie in der Dokumentation zu Ihrem Treiber.

StreamingDataPreviewOptions Struktur

Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.

Felder

• PollingTime – Zahl (lang), mindestens 10.

  Die Abrufzeit in Millisekunden.

• RecordPollingLimit – Zahl (lang), mindestens 1.

  Die Begrenzung der Anzahl der befragten Datensätze.

AthenaConnectorSource Struktur

Gibt einen Konnektor zu einer Amazon Athena-Datenquelle an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name der Datenquelle.

• ConnectionName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.

  Die Art der Verbindung, wie marketplace.athena oder custom.athena, die eine Verbindung zu einem Amazon Athena-Datenspeicher bezeichnet.

• ConnectionTable— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Der Name der Tabelle in der Datenquelle.

• SchemaName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name des zu lesenden CloudWatch-Protokollgruppenstreams. Beispiel, /aws-glue/jobs/output.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Athena-Quelle an.

JDBCConnectorSourceStruktur

Gibt einen Konnektor zu einer JDBC Datenquelle an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name der Datenquelle.

• ConnectionName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.

  Der Verbindungstyp, z. B. marketplace.jdbc oder custom.jdbc, der eine Verbindung zu einem Datenspeicher bezeichnet. JDBC

• AdditionalOptions – Ein JDBCConnectorOptions-Objekt.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• ConnectionTable— Custom string pattern #43 Zeichenfolge -8, entspricht dem. UTF

  Der Name der Tabelle in der Datenquelle.

• Query— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #44

  Die Tabelle oder SQL Abfrage, aus der die Daten abgerufen werden sollen. Sie können ConnectionTable oder query angeben, aber nicht beides.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte JDBC Quelle an.

SparkConnectorSource Struktur

Gibt einen Konnektor zu einer Apache-Spark-Datenquelle an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name der Datenquelle.

• ConnectionName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.

  Die Art der Verbindung, wie marketplace.spark oder custom.spark, die eine Verbindung zu einem Apache-Spark-Datenspeicher bezeichnet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Sparkquelle an.

CatalogSource Struktur

Gibt einen Datenspeicher im AWS Glue Datenkatalog an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datastores.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

M — Struktur der ySQLCatalog Quelle

Gibt eine Meine SQL Datenquelle im AWS Glue Datenkatalog an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name der Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

P — Struktur der ostgreSQLCatalog Quelle

Gibt eine Postgres-Datenquelle im SQL Datenkatalog an AWS Glue .

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name der Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

O — Struktur der racleSQLCatalog Quelle

Gibt eine Oracle-Datenquelle im AWS Glue Datenkatalog an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name der Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

M-Struktur icrosoftSQLServer CatalogSource

Gibt eine SQL Microsoft-Serverdatenquelle im AWS Glue Datenkatalog an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name der Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

CatalogKinesisSource Struktur

Gibt eine Kinesis-Datenquelle im AWS Glue Datenkatalog an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name der Datenquelle.

• WindowSize – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• StreamingOptions – Ein KinesisStreamingSourceOptions-Objekt.

  Zusätzliche Optionen für die Kinesis-Streaming-Datenquelle.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Zusätzliche Optionen für die Datenvorschau.

DirectKinesisSource Struktur

Gibt eine direkte Amazon Kinesis-Datenquelle an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name der Datenquelle.

• WindowSize – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• StreamingOptions – Ein KinesisStreamingSourceOptions-Objekt.

  Zusätzliche Optionen für die Kinesis-Streaming-Datenquelle.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Zusätzliche Optionen für die Datenvorschau.

KinesisStreamingSourceOptions Struktur

Zusätzliche Optionen für die Amazon Kinesis-Streaming-Datenquelle.

Felder

• EndpointUrl— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Der URL des Kinesis-Endpunkts.

• StreamName— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Der Name des Kinesis-Datenstroms.

• Classification— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Eine optionale Klassifizierung.

• Delimiter— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt das Trennzeichen an.

• StartingPosition— UTF -8 Zeichenfolge (gültige Werte: latest="LATEST" | | trim_horizon="TRIM_HORIZON" earliest="EARLIEST" |timestamp="TIMESTAMP").

  Die Ausgangsposition im Kinesis Data Stream, von dem Daten gelesen werden sollen. Die möglichen Werte sind"latest", "trim_horizon""earliest", oder eine Zeitstempelzeichenfolge im UTC Format des Musters yyyy-mm-ddTHH:MM:SSZ (wobei es sich um einen UTC Zeitzonen-Offset mit einem +/- Z handelt). Zum Beispiel: „2023-04-04T 08:00:00-04:00 „). Der Standardwert ist "latest".

  Hinweis: Die Verwendung eines Werts, der eine Zeitstempelzeichenfolge im UTC Format "" ist, wird nur für Version 4.0 oder höher unterstütztstartingPosition. AWS Glue

• MaxFetchTimeInMs – Zahl (lang), nicht mehr als Keine.

  Die maximale Zeit, die der Job Executor benötigt, um Datensätze für den aktuellen Batch aus dem Kinesis-Datenstream zu lesen, angegeben in Millisekunden (ms). Innerhalb dieser Zeit können mehrere GetRecords API Anrufe getätigt werden. Der Standardwert ist 1000.

• MaxFetchRecordsPerShard – Zahl (lang), nicht mehr als Keine.

  Die maximale Anzahl von Datensätzen, die pro Shard im Kinesis-Datenstrom pro Mikrobatch abgerufen werden können. Hinweis: Der Client kann dieses Limit überschreiten, wenn der Streaming-Job bereits zusätzliche Datensätze von Kinesis gelesen hat (im selben Get-Records-Aufruf). Wenn es streng sein MaxFetchRecordsPerShard muss, muss es ein Vielfaches von sein. MaxRecordPerRead Der Standardwert ist 100000.

• MaxRecordPerRead – Zahl (lang), nicht mehr als Keine.

  Die maximale Anzahl von Datensätzen, die bei jedem getRecords Vorgang aus dem Kinesis-Datenstrom abgerufen werden sollen. Der Standardwert ist 10000.

• AddIdleTimeBetweenReads – Boolesch.

  Fügt eine Zeitverzögerung zwischen zwei aufeinanderfolgenden getRecords Vorgängen hinzu. Der Standardwert ist "False". Diese Option ist nur für Glue 2.0 und höher konfigurierbar.

• IdleTimeBetweenReadsInMs – Zahl (lang), nicht mehr als Keine.

  Die minimale Zeitverzögerung zwischen zwei aufeinanderfolgenden getRecords Vorgängen, angegeben in ms. Der Standardwert ist 1000. Diese Option ist nur für Glue 2.0 und höher konfigurierbar.

• DescribeShardInterval – Zahl (lang), nicht mehr als Keine.

  Das minimale Zeitintervall zwischen zwei ListShards API Aufrufen, in dem Ihr Skript ein Resharding in Betracht ziehen muss. Der Standardwert ist 1s.

• NumRetries – Zahl (Ganzzahl), nicht mehr als Keine.

  Die maximale Anzahl von Wiederholungen für Kinesis Data Streams API Streams-Anfragen. Der Standardwert ist 3.

• RetryIntervalMs – Zahl (lang), nicht mehr als Keine.

  Die Abkühlzeit (angegeben in ms), bevor der Kinesis Data Streams Streams-Aufruf erneut versucht wird. API Der Standardwert ist 1000.

• MaxRetryIntervalMs – Zahl (lang), nicht mehr als Keine.

  Die maximale Abkühlzeit (angegeben in ms) zwischen zwei Wiederholungen eines Kinesis Data Streams Streams-Anrufs. API Der Standardwert ist 10000.

• AvoidEmptyBatches – Boolesch.

  Vermeidet das Erstellen eines leeren Mikrobatchauftrags, indem vor dem Start des Batches im Kinesis Data Stream nach ungelesenen Daten gesucht wird. Der Standardwert ist "False".

• StreamArn— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Der Amazon-Ressourcenname (ARN) des Kinesis-Datenstroms.

• RoleArn— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #43

  Der Amazon-Ressourcenname (ARN) der Rolle, die mithilfe des AWS Security Token Service (AWSSTS) übernommen werden soll. Diese Rolle muss über Berechtigungen zum Beschreiben oder Lesen von Datensatzoperationen für den Kinesis-Datenstrom verfügen. Sie müssen diesen Parameter verwenden, wenn Sie auf einen Datenstrom in einem anderen Konto zugreifen. Verwendet in Verbindung mit "awsSTSSessionName".

• RoleSessionName— Zeichenfolge UTF -8, entspricht demCustom string pattern #43.

  Ein Bezeichner für die Sitzung, die die Rolle annimmt, die. AWS STS Sie müssen diesen Parameter verwenden, wenn Sie auf einen Datenstrom in einem anderen Konto zugreifen. Verwendet in Verbindung mit "awsSTSRoleARN".

• AddRecordTimestamp— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Wenn diese Option auf 'true' gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „__src_timestamp“, die die Uhrzeit angibt, zu der der entsprechende Datensatz mit dem Stream empfangen wurde. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• EmitConsumerLagMetrics— Zeichenfolge UTF -8, entspricht derCustom string pattern #43.

  Wenn diese Option auf „true“ gesetzt ist, werden für jeden Batch die Metriken für den Zeitraum zwischen dem ältesten Datensatz, der vom Stream empfangen wurde, und dem Zeitpunkt, AWS Glue zu CloudWatch dem er eingeht, ausgegeben. Der Name der Metrik lautet „glue.driver.streaming“. maxConsumerLagInMs“. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• StartingTimestamp— UTF -8 Zeichenfolge.

  Der Zeitstempel des Datensatzes im Kinesis-Datenstrom, aus dem mit dem Lesen der Daten begonnen werden soll. Die möglichen Werte sind eine Zeitstempelzeichenfolge im UTC Format des Musters yyyy-mm-ddTHH:MM:SSZ (wobei Z für einen UTC Zeitzonen-Offset mit einem +/- steht). Zum Beispiel: „2023-04-04T 08:00:00 + 08:00 „).

CatalogKafkaSource Struktur

Gibt einen Apache-Kafka-Datenspeicher im Data Catalog an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Datastores.

• WindowSize – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• StreamingOptions – Ein KafkaStreamingSourceOptions-Objekt.

  Gibt die Streaming-Optionen an.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.

DirectKafkaSource Struktur

Gibt einen Apache-Kafka-Datenspeicher an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Datastores.

• StreamingOptions – Ein KafkaStreamingSourceOptions-Objekt.

  Gibt die Streaming-Optionen an.

• WindowSize – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.

KafkaStreamingSourceOptions Struktur

Zusätzliche Optionen zum Streaming.

Felder

• BootstrapServers— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Eine Liste von Bootstrap-ServernURLs, zum Beispiel als. b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094 Diese Option muss im API Aufruf angegeben oder in den Tabellenmetadaten im Datenkatalog definiert werden.

• SecurityProtocol— UTF -8 Zeichenfolge, entspricht demCustom string pattern #43.

  Das Protokoll, das für die Kommunikation mit Brokern verwendet wird. Die möglichen Werte sind "SSL" oder "PLAINTEXT".

• ConnectionName— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Verbindung.

• TopicName— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name des Themas, wie in Apache Kafka angegeben. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• Assign— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die spezifischen zu verbrauchenden TopicPartitions. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• SubscribePattern— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Eine Java-Regex-Zeichenfolge, die die Themenliste identifiziert, die abonniert werden soll. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• Classification— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Eine optionale Klassifizierung.

• Delimiter— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt das Trennzeichen an.

• StartingOffsets— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Ausgangsposition im Kafka-Thema, aus dem Daten gelesen werden sollen. Die möglichen Werte sind "earliest" oder "latest". Der Standardwert ist "latest".

• EndingOffsets— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Endpunkt, wenn eine Batchabfrage beendet wird. Mögliche Werte sind entweder "latest" oder eine JSON Zeichenfolge, die jeweils TopicPartition einen Endversatz angibt.

• PollTimeoutMs – Zahl (lang), nicht mehr als Keine.

  Das Timeout in Millisekunden, um Daten von Kafka in Spark-Auftragsausführungen abzufragen. Der Standardwert ist 512.

• NumRetries – Zahl (Ganzzahl), nicht mehr als Keine.

  Die Anzahl, wie oft erneute Versuche durchgeführt werden sollen, bevor Kafka-Offsets nicht abgerufen werden. Der Standardwert ist 3.

• RetryIntervalMs – Zahl (lang), nicht mehr als Keine.

  Die Wartezeit in Millisekunden, bevor Sie erneut versuchen, Kafka-Offsets abzurufen. Der Standardwert ist 10.

• MaxOffsetsPerTrigger – Zahl (lang), nicht mehr als Keine.

  Die Ratengrenze für die maximale Anzahl von Offsets, die pro Triggerintervall verarbeitet werden. Die angegebene Gesamtzahl der Offsets wird proportional auf topicPartitionsvon verschiedenen Volumes aufgeteilt. Der Standardwert ist null, was bedeutet, dass der Verbraucher alle Offsets bis zum bekannten letzten Offset liest.

• MinPartitions – Zahl (Ganzzahl), nicht mehr als Keine.

  Die gewünschte Mindestanzahl an Partitionen, die von Kafka gelesen werden sollen. Der Standardwert ist null, was bedeutet, dass die Anzahl der Spark-Partitionen gleich der Anzahl der Kafka-Partitionen ist.

• IncludeHeaders – Boolesch.

  Ob die Kafka-Header eingeschlossen werden sollen. Wenn die Option auf „true“ gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „glue_streaming_kafka_headers“ mit dem Typ Array[Struct(key: String, value: String)]. Der Standardwert ist „false“. Diese Option ist nur in AWS Glue Version 3.0 oder höher verfügbar.

• AddRecordTimestamp— Zeichenfolge UTF -8, entspricht demCustom string pattern #43.

  Wenn diese Option auf „true“ gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „__src_timestamp“, die den Zeitpunkt angibt, zu dem der entsprechende Datensatz beim Thema eingegangen ist. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• EmitConsumerLagMetrics— Zeichenfolge UTF -8, entspricht derCustom string pattern #43.

  Wenn diese Option auf „true“ gesetzt ist, werden für jeden Stapel die Metriken für den Zeitraum zwischen dem ältesten Datensatz, den das Thema erhalten hat, und dem Zeitpunkt, AWS Glue zu CloudWatch dem er eingeht, ausgegeben. Der Name der Metrik lautet „glue.driver.streaming“. maxConsumerLagInMs“. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• StartingTimestamp— UTF -8 Zeichenfolge.

  Der Zeitstempel des Datensatzes im Kafka-Thema, aus dem mit dem Lesen von Daten begonnen werden soll. Die möglichen Werte sind eine Zeitstempelzeichenfolge im UTC Format des Musters yyyy-mm-ddTHH:MM:SSZ (wobei Z für einen UTC Zeitzonen-Offset mit einem +/- steht). Zum Beispiel: „2023-04-04T 08:00:00 + 08:00 „).

  Es muss nur ein StartingTimestamp oder StartingOffsets festgelegt werden.

RedshiftSource Struktur

Gibt einen Amazon Redshift-Datenspeicher an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Amazon-Redshift-Datenspeichers.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die zu lesende Datenbanktabelle.

• RedshiftTmpDir— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• TmpDirIAMRole— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die IAM Rolle mit Berechtigungen.

AmazonRedshiftSource Struktur

Gibt eine Amazon-Redshift-Quelle an.

Felder

• Name— UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name der Amazon-Redshift-Quelle.

• Data – Ein AmazonRedshiftNodeData-Objekt.

  Gibt die Daten des Amazon-Reshift-Quellknotens an.

AmazonRedshiftNodeData Struktur

Gibt einen Amazon-Redshift-Knoten an.

Felder

• AccessType— UTF -8 Zeichenfolge, entspricht derCustom string pattern #42.

  Der Zugriffstyp für die Redshift-Verbindung. Dies kann eine direkte Verbindung oder eine Katalogverbindung sein.

• SourceType— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Der Quelltyp, der angibt, ob eine bestimmte Tabelle die Quelle oder eine benutzerdefinierte Abfrage ist.

• Connection – Ein Option-Objekt.

  Die AWS Glue Verbindung zum Redshift-Cluster.

• Schema – Ein Option-Objekt.

  Der Name des Redshift-Schemas beim Arbeiten mit einer direkten Verbindung.

• Table – Ein Option-Objekt.

  Der Name der Redshift-Tabelle beim Arbeiten mit einer Direktverbindung.

• CatalogDatabase – Ein Option-Objekt.

  Der Name der AWS Glue Datenkatalogdatenbank bei der Arbeit mit einem Datenkatalog.

• CatalogTable – Ein Option-Objekt.

  Der Name der AWS Glue Datenkatalogtabelle bei der Arbeit mit einem Datenkatalog.

• CatalogRedshiftSchema— UTF -8 Zeichenfolge.

  Der Name des Redshift-Schemas bei der Arbeit mit einem Datenkatalog.

• CatalogRedshiftTable— UTF -8 Zeichenfolge.

  Die zu lesende Datenbanktabelle.

• TempDir— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• IamRole – Ein Option-Objekt.

  Optional. Der Rollenname, der bei der Verbindung mit S3 verwendet wird. Wenn das IAM Feld leer gelassen wird, wird standardmäßig die Rolle im Job verwendet.

• AdvancedOptions – Ein Array mit AmazonRedshiftAdvancedOption-Objekten.

  Optionale Werte beim Herstellen einer Verbindung zum Redshift-Cluster.

• SampleQuery— UTF -8 Zeichenfolge.

  SQLWird verwendet, um die Daten aus einer Redshift-Quelle abzurufen, wenn es sich um „Abfrage“ SourceType handelt.

• PreAction— -8 Zeichenfolge. UTF

  SQLWird verwendet, bevor ein MERGE oder APPEND mit Upsert ausgeführt wird.

• PostAction— UTF -8 Zeichenfolge.

  SQLWird verwendet, bevor ein MERGE oder APPEND mit Upsert ausgeführt wird.

• Action— UTF -8 Zeichenfolge.

  Gibt an, wie in einen Redshift-Cluster geschrieben wird.

• TablePrefix— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Gibt das Präfix für eine Tabelle an.

• Upsert – Boolesch.

  Die auf Redshift verwendete Aktion sinkt, wenn Sie eine ausführen. APPEND

• MergeAction— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Die Aktion, die verwendet wird, um zu bestimmen, wie A MERGE in einer Redshift-Senke behandelt wird.

• MergeWhenMatched— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Die Aktion, die verwendet wird, um zu bestimmen, wie eine MERGE in einer Redshift-Senke behandelt wird, wenn ein vorhandener Datensatz mit einem neuen Datensatz übereinstimmt.

• MergeWhenNotMatched— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #42

  Die Aktion, die verwendet wird, um zu bestimmen, wie ein MERGE in einer Redshift-Senke behandelt wird, wenn ein vorhandener Datensatz nicht mit einem neuen Datensatz übereinstimmt.

• MergeClause— UTF -8 Zeichenfolge.

  SQLWird in einer benutzerdefinierten Zusammenführung verwendet, um mit übereinstimmenden Datensätzen umzugehen.

• CrawlerConnection— UTF -8 Zeichenfolge.

  Gibt den Namen der Verbindung an, die der verwendeten Katalogtabelle zugeordnet ist.

• TableSchema – Ein Array mit Option-Objekten.

  Das Array der Schemaausgabe für einen bestimmten Knoten.

• StagingTable— UTF -8 Zeichenfolge.

  Der Name der temporären Staging-Tabelle, die verwendet wird, wenn ein MERGE oder APPEND mit Upsert ausgeführt wird.

• SelectedColumns – Ein Array mit Option-Objekten.

  Die Liste der Spaltennamen, anhand derer ein passender Datensatz ermittelt wird, wenn ein MERGE oder APPEND mit Upsert ausgeführt wird.

AmazonRedshiftAdvancedOption Struktur

Gibt einen optionalen Wert an, wenn eine Verbindung zum Redshift-Cluster hergestellt wird.

Felder

• Key— UTF -8 Zeichenfolge.

  Der Schlüssel für die zusätzliche Verbindungsoption.

• Value— UTF -8 Zeichenfolge.

  Der Wert für die zusätzliche Verbindungsoption.

Optionsstruktur

Gibt einen Optionswert an.

Felder

• Value— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt den Wert der Option an.

• Label— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt die Bezeichnung der Option an.

• Description— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt die Beschreibung der Option an.

S3-Struktur CatalogSource

Gibt einen Amazon S3 S3-Datenspeicher im AWS Glue Datenkatalog an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datastores.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die zu lesende Datenbanktabelle.

• PartitionPredicate— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht. Festgelegt auf "" – standardmäßig auf leer festgelegt.

• AdditionalOptions – Ein S3 SourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

S3-Struktur SourceAdditionalOptions

Gibt zusätzliche Verbindungsoptionen für den Amazon S3-Datenspeicher an.

Felder

• BoundedSize – Zahl (lang).

  Legt die Obergrenze für die Zielgröße des Datensatzes, die verarbeitet werden, in Byte fest.

• BoundedFiles – Zahl (lang).

  Legt die Obergrenze für die Zielanzahl von Dateien fest, die verarbeitet werden.

CsvSource S3-Struktur

Gibt einen durch Befehle getrennten Datenspeicher mit Wert (CSV) an, der in Amazon S3 gespeichert ist.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name des Datastores.

• Paths— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType— UTF -8 Zeichenfolge (gültige Werte: gzip="GZIP" |bzip2="BZIP2").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions— Ein Array von UTF -8 Zeichenketten.

  Eine Zeichenfolge, die eine JSON Liste von Glob-Mustern im UNIX-Stil enthält, die ausgeschlossen werden sollen. Beispielsweise schließt „[\" **.pdf\ "]“ alle Dateien aus. PDF

• GroupSize— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #43

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "“inPartition. Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand Millisekunden liegen, werden speziell dann nachverfolgt, wenn sie verwendet werden, um die eventuelle Konsistenz von Amazon S3 JobBookmarks zu gewährleisten. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option gibt die maximale Anzahl von Dateien an, die in den letzten Sekunden gespeichert werden sollen. maxBand Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3 DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• Separator— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: comma="COMMA" | | ctrla="CTRLA" | pipe="PIPE" semicolon="SEMICOLON" |tab="TAB").

  Gibt das Trennzeichen an. Der Standardwert ist ein Komma: „,“, es können aber alle anderen Zeichen angegeben werden.

• Escaper— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Gibt das Escape-Zeichen an. Diese Option wird nur beim Lesen von CSV Dateien verwendet. Der Standardwert ist none. Wenn diese Option aktiviert ist, wird das unmittelbar folgende Zeichen als solches verwendet, außer einer kleinen Menge bekannter Escapes (\n, \r, \t und \0).

• QuoteChar— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: quote="QUOTE" | | quillemet="QUILLEMET" single_quote="SINGLE_QUOTE" |disabled="DISABLED").

  Gibt das Zeichen für Anführungszeichen an. Standardmäßig werden doppelte Anführungszeichen '"' verwendet. Setzen Sie dies auf -1, um Anführungszeichen generell zu deaktivieren.

• Multiline – Boolesch.

  Ein boolescher Wert, der angibt, ob ein einzelner Datensatz mehrere Zeilen umfassen kann. Dies kommt vor, wenn ein Feld ein Neue-Zeile-Zeichen in Anführungszeichen enthält. Sie müssen diese Option auf "true" setzen, wenn ein Datensatz mehrere Zeilen umfasst. Der Standardwert ist False. Dies ermöglicht eine rigorosere Dateiaufteilung während der Analyse.

• WithHeader – Boolesch.

  Ein boolescher Wert, der angibt, ob die erste Zeile als Kopfzeile zu behandeln ist. Der Standardwert ist False.

• WriteHeader – Boolesch.

  Ein boolescher Wert, der angibt, ob die Kopfzeile mit ausgegeben wird. Der Standardwert ist True.

• SkipFirst – Boolesch.

  Ein boolescher Wert, der angibt, ob die erste Datenzeile übersprungen wird. Der Standardwert ist False.

• OptimizePerformance – Boolesch.

  Ein boolescher Wert, der angibt, ob der Advanced SIMD CSV Reader zusammen mit den auf Apache Arrow basierenden spaltenbasierten Speicherformaten verwendet werden soll. Nur in AWS Glue Version 3.0 verfügbar.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die CSV S3-Quelle an.

irectJDBCSource D-Struktur

Gibt die direkte JDBC Quellverbindung an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name der JDBC Quellverbindung.

• Database— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.

  Die Datenbank der JDBC Quellverbindung.

• Table— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #43.

  Die Tabelle der JDBC Quellverbindung.

• ConnectionName— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Der Verbindungsname der JDBC Quelle.

• ConnectionType— Erforderlich: Zeichenfolge UTF -8 (gültige Werte: sqlserver | | mysql | oracle postgresql |redshift).

  Der Verbindungstyp der JDBC Quelle.

• RedshiftTmpDir— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Das temporäre Verzeichnis der JDBC Redshift-Quelle.

S3-Struktur DirectSourceAdditionalOptions

Gibt zusätzliche Verbindungsoptionen für den Amazon S3-Datenspeicher an.

Felder

• BoundedSize – Zahl (lang).

  Legt die Obergrenze für die Zielgröße des Datensatzes, die verarbeitet werden, in Byte fest.

• BoundedFiles – Zahl (lang).

  Legt die Obergrenze für die Zielanzahl von Dateien fest, die verarbeitet werden.

• EnableSamplePath – Boolesch.

  Legt die Option zum Aktivieren eines Beispielpfads fest.

• SamplePath— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Wenn diese Option aktiviert ist, gibt den Beispielpfad an.

S3-Struktur JsonSource

Gibt einen in Amazon S3 gespeicherten JSON Datenspeicher an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #45

  Der Name des Datastores.

• Paths— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType— UTF -8 Zeichenfolge (gültige Werte: gzip="GZIP" |bzip2="BZIP2").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions— Ein Array von UTF -8 Zeichenketten.

  Eine Zeichenfolge, die eine JSON Liste von Glob-Mustern im UNIX-Stil enthält, die ausgeschlossen werden sollen. Beispielsweise schließt „[\" **.pdf\ "]“ alle Dateien aus. PDF

• GroupSize— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #43

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "“inPartition. Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand Millisekunden liegen, werden speziell dann nachverfolgt, wenn sie verwendet werden, um die eventuelle Konsistenz von Amazon S3 JobBookmarks zu gewährleisten. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option gibt die maximale Anzahl von Dateien an, die in den letzten Sekunden gespeichert werden sollen. maxBand Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3 DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• JsonPath— Zeichenfolge UTF -8, entspricht demCustom string pattern #43.

  Eine JsonPath Zeichenfolge, die die JSON Daten definiert.

• Multiline – Boolesch.

  Ein boolescher Wert, der angibt, ob ein einzelner Datensatz mehrere Zeilen umfassen kann. Dies kommt vor, wenn ein Feld ein Neue-Zeile-Zeichen in Anführungszeichen enthält. Sie müssen diese Option auf "true" setzen, wenn ein Datensatz mehrere Zeilen umfasst. Der Standardwert ist False. Dies ermöglicht eine rigorosere Dateiaufteilung während der Analyse.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die JSON S3-Quelle an.

ParquetSource S3-Struktur

Gibt einen Apache-Parquet-Datenspeicher an, der in Amazon S3 gespeichert ist.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #45.

  Der Name des Datastores.

• Paths— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType— UTF -8 Zeichenfolge (gültige Werte: snappy="SNAPPY" | | | lzo="LZO" gzip="GZIP" uncompressed="UNCOMPRESSED" |none="NONE").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions— Ein Array von UTF -8 Zeichenketten.

  Eine Zeichenfolge, die eine JSON Liste von Glob-Mustern im UNIX-Stil enthält, die ausgeschlossen werden sollen. Beispielsweise schließt „[\" **.pdf\ "]“ alle Dateien aus. PDF

• GroupSize— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #43

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "“inPartition. Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand Millisekunden liegen, werden speziell dann nachverfolgt, wenn sie verwendet werden, um die eventuelle Konsistenz von Amazon S3 JobBookmarks zu gewährleisten. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl), nicht mehr als Keine.

  Diese Option gibt die maximale Anzahl von Dateien an, die in den letzten Sekunden gespeichert werden sollen. maxBand Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3 DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die S3-Parkett-Quelle an.

DeltaSource S3-Struktur

Spezifiziert eine Delta Lake-Datenquelle, die in gespeichert ist Amazon S3.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name der Delta-Lake-Quelle.

• Paths— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen an.

• AdditionalOptions – Ein S3 DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Optionen für den Konnektor an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

S3-Struktur CatalogDeltaSource

Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist. Die Datenquelle muss in gespeichert werden Amazon S3.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #45.

  Der Name der Delta-Lake-Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

CatalogDeltaSource Struktur

Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name der Delta-Lake-Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

S3-Struktur HudiSource

Spezifiziert eine Hudi-Datenquelle, die in Amazon S3 gespeichert ist.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #45

  Der Name der Hudi-Quelle.

• Paths— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen an.

• AdditionalOptions – Ein S3 DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Optionen für den Konnektor an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

S3-Struktur CatalogHudiSource

Gibt eine Hudi-Datenquelle an, die im AWS Glue Datenkatalog registriert ist. Die Hudi-Datenquelle muss in gespeichert werden. Amazon S3

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #45

  Der Name der Hudi-Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

CatalogHudiSource Struktur

Gibt eine Hudi-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name der Hudi-Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

D ynamoDBCatalog Quellstruktur

Gibt eine DynamoDB-Datenquelle im Datenkatalog an AWS Glue .

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name der Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

RelationalCatalogSource Struktur

Gibt eine Datenquelle für relationale Datenbank im AWS Glue -Datenkatalog an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name der Datenquelle.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

JDBCConnectorTargetStruktur

Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• ConnectionName— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectionTable— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle im Datenziel.

• ConnectorName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Einen Namen für den Konnektor, der verwendet werden wird.

• ConnectionType— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Verbindungstyp, z. B. marketplace.jdbc oder custom.jdbc, der eine Verbindung zu einem Datenziel bezeichnet. JDBC

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von -8, die dem entspricht. UTF Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das JDBC Ziel an.

SparkConnectorTarget Struktur

Gibt ein Ziel an, das einen Apache-Spark-Konnektor verwendet.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• ConnectionName— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name einer Verbindung für einen Apache-Spark-Konnektor.

• ConnectorName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name eines Apache-Spark-Konnektors.

• ConnectionType— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Art der Verbindung, wie marketplace.spark oder custom.spark, die eine Verbindung zu einem Apache-Spark-Datenspeicher bezeichnet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das benutzerdefinierte Spark-Ziel an.

BasicCatalogTarget Struktur

Gibt ein Ziel an, das eine AWS Glue Datenkatalogtabelle verwendet.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name Ihres Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Die Datenbank, die die Tabelle enthält, die Sie als Ziel verwenden möchten. Diese Datenbank muss bereits im Data Catalog vorhanden sein.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Tabelle, die das Schema Ihrer Ausgabedaten definiert. Diese Tabelle muss bereits im -Data Catalog vorhanden sein.

M — ySQLCatalog Zielstruktur

Gibt ein Ziel an, das My verwendetSQL.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

P — ostgreSQLCatalog Zielstruktur

Gibt ein Ziel an, das Postgres SQL verwendet.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

O racleSQLCatalog Zielstruktur

Gibt ein Ziel an, das Oracle verwendetSQL.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

M-Struktur icrosoftSQLServer CatalogTarget

Gibt ein Ziel an, das Microsoft verwendetSQL.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

RedshiftTarget Struktur

Gibt ein Ziel an, das Amazon Redshift verwendet.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• RedshiftTmpDir— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• TmpDirIAMRole— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die IAM Rolle mit Berechtigungen.

• UpsertRedshiftOptions – Ein UpsertRedshiftTargetOptions-Objekt.

  Die Reihe von Optionen zum Konfigurieren einer Upsert-Operation beim Schreiben in ein Redshift-Ziel.

AmazonRedshiftTarget Struktur

Gibt ein Amazon-Redshift-Ziel an.

Felder

• Name— UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Amazon-Redshift-Ziels.

• Data – Ein AmazonRedshiftNodeData-Objekt.

  Gibt die Daten des Amazon-Redshift-Zielknotens an.

• Inputs— Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

UpsertRedshiftTargetOptions Struktur

Die Optionen zum Konfigurieren einer Upsert-Operation beim Schreiben in ein Redshift-Ziel.

Felder

• TableLocation— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Der physische Standort der Redshift-Tabelle.

• ConnectionName— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Verbindung, die zum Schreiben in Redshift verwendet werden soll.

• UpsertKeys— Ein Array von UTF -8 Zeichenketten.

  Die Schlüssel, mit denen festgestellt wird, ob eine Aktualisierung oder ein Einfügen durchgeführt werden soll.

S3-Struktur CatalogTarget

Gibt ein Datenziel an, das mithilfe des AWS Glue Datenkatalogs in Amazon S3 schreibt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Ein Array von UTF -8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3-Struktur GlueParquetTarget

Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Ein Array von UTF -8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Ein einziger Amazon S3-Pfad, in den geschrieben wird.

• Compression— UTF -8 Zeichenfolge (gültige Werte: snappy="SNAPPY" | | | lzo="LZO" gzip="GZIP" uncompressed="UNCOMPRESSED" |none="NONE").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

CatalogSchemaChangePolicy Struktur

Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

Felder

• EnableUpdateCatalog – Boolesch.

  Ob das Aktualisierungsverhalten verwendet werden soll, wenn der Crawler ein geändertes Schema findet.

• UpdateBehavior— UTF -8 Zeichenfolge (gültige Werte: UPDATE_IN_DATABASE |LOG).

  Das Aktualisierungsverhalten, wenn der Crawler ein geändertes Schema findet.

S3-Struktur DirectTarget

Gibt ein Datenziel an, das an Amazon S3 schreibt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Ein Array von UTF -8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Ein einziger Amazon S3-Pfad, in den geschrieben wird.

• Compression— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Format— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: json="JSON" | | csv="CSV" | avro="AVRO" | | orc="ORC" parquet="PARQUET" hudi="HUDI" |delta="DELTA").

  Gibt das Datenausgabeformat für das Ziel an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3-Struktur HudiCatalogTarget

Gibt ein Ziel an, das in eine Hudi-Datenquelle im AWS Glue Datenkatalog schreibt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Ein Array von UTF -8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• AdditionalOptions – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3-Struktur HudiDirectTarget

Gibt ein Ziel an, das in eine Hudi-Datenquelle in Amazon S3 schreibt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• Path— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Amazon-S3-Pfad Ihrer Hudi-Datenquelle, in die geschrieben werden soll.

• Compression— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: gzip="GZIP" | | lzo="LZO" uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• PartitionKeys— Ein Array von UTF -8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Format— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: json="JSON" | | csv="CSV" | avro="AVRO" | | orc="ORC" parquet="PARQUET" hudi="HUDI" |delta="DELTA").

  Gibt das Datenausgabeformat für das Ziel an.

• AdditionalOptions – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3-Struktur DeltaCatalogTarget

Gibt ein Ziel an, das in eine Delta Lake-Datenquelle im AWS Glue Datenkatalog schreibt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Ein Array von UTF -8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

S3-Struktur DeltaDirectTarget

Gibt ein Ziel an, das in eine Delta Lake-Datenquelle in schreibt Amazon S3.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Ein Array von UTF -8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Amazon-S3-Pfad Ihrer Delta-Lake-Datenquelle, in die geschrieben werden soll.

• Compression— Erforderlich: Zeichenfolge UTF -8 (gültige Werte: uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Format— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: json="JSON" | | csv="CSV" | avro="AVRO" | | orc="ORC" parquet="PARQUET" hudi="HUDI" |delta="DELTA").

  Gibt das Datenausgabeformat für das Ziel an.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

DirectSchemaChangePolicy Struktur

Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

Felder

• EnableUpdateCatalog – Boolesch.

  Ob das Aktualisierungsverhalten verwendet werden soll, wenn der Crawler ein geändertes Schema findet.

• UpdateBehavior— UTF -8 Zeichenfolge (gültige Werte: UPDATE_IN_DATABASE |LOG).

  Das Aktualisierungsverhalten, wenn der Crawler ein geändertes Schema findet.

• Table— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Gibt die Tabelle in der Datenbank an, für die die Schemaänderungsrichtlinie gilt.

• Database— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt die Datenbank an, für die die Schemaänderungsrichtlinie gilt.

ApplyMapping Struktur

Gibt eine Transformation an, die Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel zuordnet. Sie können Schlüssel umbenennen, die Datentypen für Schlüssel ändern und die Schlüssel auswählen, die aus dem Datensatz gelöscht werden sollen.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Mapping – Erforderlich: Ein Array mit Mapping-Objekten.

  Gibt die Zuordnung der Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel an.

Mapping-Struktur

Gibt die Zuordnung von Dateneigenschaftsschlüsseln an.

Felder

• ToKey— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Was der Name der Spalte nach dem Apply-Mapping sein soll. Kann gleich sein wie FromPath.

• FromPath— Ein Array von UTF -8 Zeichenketten.

  Die Tabelle oder Spalte, die geändert werden soll.

• FromType— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Typ der zu ändernden Daten.

• ToType— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Datentyp, zu dem die Daten geändert werden sollen.

• Dropped – Boolesch.

  Wenn „true“, wird die Spalte entfernt.

• Children – Ein Array mit Mapping-Objekten.

  Gilt nur für verschachtelte Datenstrukturen. Wenn Sie die übergeordnete Struktur, aber auch eines ihrer untergeordneten Elemente ändern möchten, können Sie diese Datenstruktur ausfüllen. Es ist ebenfalls Mapping, aber sein FromPath wird der übergeordnete FromPath mit dem FromPath aus dieser Struktur an.

  Nehmen wir für den untergeordneten Teil an, Sie haben die Struktur:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

  Sie können ein Mapping angeben, das wie folgt aussieht:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

SelectFields Struktur

Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie beibehalten möchten.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Ein JSON Pfad zu einer Variablen in der Datenstruktur.

DropFields Struktur

Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie löschen möchten.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Ein JSON Pfad zu einer Variablen in der Datenstruktur.

RenameField Struktur

Gibt eine Transformation an, die einen einzelnen Dateneigenschaftsschlüssel umbenennt.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• SourcePath— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Ein JSON Pfad zu einer Variablen in der Datenstruktur für die Quelldaten.

• TargetPath— Erforderlich: Ein Array mit UTF -8 Zeichenketten.

  Ein JSON Pfad zu einer Variablen in der Datenstruktur für die Zieldaten.

Spigot-Struktur

Gibt eine Transformation an, die Beispiele der Daten in einen Amazon S3-Bucket schreibt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Path— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Ein Pfad in Amazon S3, in dem die Transformation eine Teilmenge von Datensätzen aus dem Datensatz in eine JSON Datei in einem Amazon S3 S3-Bucket schreibt.

• Topk – Zahl (Ganzzahl), nicht mehr als 100.

  Gibt eine Reihe von Datensätzen an, die ab dem Anfang des Datensatzes geschrieben werden sollen.

• Prob – Zahl (Double), nicht mehr als 1.

  Die Wahrscheinlichkeit (ein Dezimalwert mit einem Höchstwert von 1), einen bestimmten Datensatz auszuwählen. Der Wert 1 gibt an, dass jede aus dem Datensatz gelesene Zeile in die Beispielausgabe aufgenommen werden sollte.

Join-Struktur

Gibt eine Transformation an, die zwei Datensätze mit einer Vergleichsphrase für die angegebenen Dateneigenschaftsschlüssel zu einem Datensatz zusammenführt. Sie können innere, äußere, linke, rechte, linke Hälfte und linke Anti-Joins verwenden.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• JoinType— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: equijoin="EQUIJOIN" | | left="LEFT" | | right="RIGHT" outer="OUTER" leftsemi="LEFT_SEMI" |leftanti="LEFT_ANTI").

  Gibt den Typ des Join an, der für die Datensätze ausgeführt werden soll.

• Columns – Erforderlich: Ein Array mit JoinColumn-Objekten, nicht weniger als 2 und nicht mehr als 2 Strukturen.

  Eine Liste der beiden zu verbindenden Spalten.

JoinColumn Struktur

Gibt eine Spalte an, die verbunden werden soll.

Felder

• From— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Die Spalte, die verbunden werden soll.

• Keys— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Der Schlüssel der zu verbindenden Spalte.

SplitFields Struktur

Gibt eine Transformation an, die Dateneigenschaftsschlüssel in zwei teDynamicFrames aufteilt. Die Ausgabe ist eine Sammlung von DynamicFrames: Einer mit ausgewählten Dateneigenschaftsschlüsseln und einer mit den übrigen Dateneigenschaftsschlüsseln.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Ein JSON Pfad zu einer Variablen in der Datenstruktur.

SelectFromCollection Struktur

Gibt eine Transformation an, die einen DynamicFrame aus einer Reihe von DynamicFrames auswählt. Die Ausgabe ist das ausgewählte DynamicFrame.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Index – Erforderlich: Zahl (Ganzzahl), nicht mehr als Keine.

  Der Index für den DynamicFrame , der ausgewählt werden soll.

FillMissingValues Struktur

Gibt eine Transformation an, bei der Akten im Datensatz gesucht werden können, die fehlende Werte aufweisen, und die ein neues Feld mit einem durch Imputation bestimmten Wert hinzufügt. Mit dem Eingabedatensatz wird das Modell zum Machine Learning (ML) trainiert, das den fehlenden Wert bestimmt.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• ImputedPath— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Ein JSON Pfad zu einer Variablen in der Datenstruktur für den imputierten Datensatz.

• FilledPath— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Ein JSON Pfad zu einer Variablen in der Datenstruktur für den Datensatz, der gefüllt ist.

Filter-Struktur

Gibt eine Transformation an, die einen Datensatz basierend auf einer Filterbedingung in zwei Teile teilt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• LogicalOperator— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: AND |OR).

  Der Operator, der verwendet wurde, um Zeilen zu filtern, indem er den Schlüsselwert mit einem bestimmten Wert vergleicht.

• Filters – Erforderlich: Ein Array mit FilterExpression-Objekten.

  Gibt einen Filterausdruck an.

FilterExpression Struktur

Gibt einen Filterausdruck an.

Felder

• Operation— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: EQ | LT | GT | | LTE | GTE REGEX |ISNULL).

  Der Typ des Vorgangs, der im Ausdruck ausgeführt werden soll.

• Negated – Boolesch.

  Ob der Ausdruck negiert werden soll.

• Values – Erforderlich: Ein Array mit FilterValue-Objekten.

  Eine Liste von Filterwerten.

FilterValue Struktur

Stellt einen einzelnen Eintrag in der Liste von Werten für ein FilterExpression dar.

Felder

• Type— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: COLUMNEXTRACTED |CONSTANT).

  Der Typ des Filterwerts.

• Value— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Der Wert, der zugeordnet werden soll.

CustomCode Struktur

Gibt eine Transformation an, die benutzerdefinierten Code verwendet, den Sie zur Durchführung der Datentransformation bereitstellen. Die Ausgabe ist eine Sammlung von DynamicFrames.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, mindestens 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Code— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #36

  Der benutzerdefinierte Code, der zur Durchführung der Datentransformation verwendet wird.

• ClassName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name, der für die benutzerdefinierte Code-Knotenklasse definiert wurde.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Codetransformation an.

Spark-Struktur SQL

Gibt eine Transformation an, bei der Sie eine SQL Abfrage mithilfe der SQL Spark-Syntax eingeben, um die Daten zu transformieren. Die Ausgabe ist ein einzelner DynamicFrame.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, mindestens 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben. Sie können jedem Eingabeknoten, der in der SQL Abfrage verwendet werden soll, einen Tabellennamen zuordnen. Der von Ihnen gewählte Name muss den SQL Spark-Benennungsbeschränkungen entsprechen.

• SqlQuery— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #44.

  Eine SQL Abfrage, die die SQL Spark-Syntax verwenden und einen einzelnen Datensatz zurückgeben muss.

• SqlAliases – Erforderlich: Ein Array mit SqlAlias-Objekten.

  Eine Liste von Aliasen. Mit einem Alias können Sie angeben, welcher Name SQL für eine bestimmte Eingabe verwendet werden soll. Sie haben beispielsweise eine Datenquelle mit dem Namen "“MyDataSource. Wenn Sie as und From Alias as SqlName angeben MyDataSource, können SQL Sie in Ihrem Folgendes tun:

  select * from SqlName

  und das bezieht Daten von MyDataSource.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die SQL Spark-Transformation an.

SqlAlias Struktur

Stellt einen einzelnen Eintrag in der Liste von Werten für SqlAliases dar.

Felder

• From— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #42.

  Eine Tabelle oder eine Spalte in einer Tabelle.

• Alias— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Ein temporärer Name, der einer Tabelle oder einer Spalte in einer Tabelle gegeben wird.

DropNullFields Struktur

Gibt eine Transformation an, die Spalten aus dem Datensatz entfernt, wenn alle Werte in der Spalte „null“ sind. Standardmäßig erkennt AWS Glue Studio Null-Objekte, aber einige Werte wie leere Zeichenketten, Zeichenketten, die „Null“ sind, Ganzzahlen von -1 oder andere Platzhalter wie Nullen, werden nicht automatisch als Nullen erkannt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• NullCheckBoxList – Ein NullCheckBoxList-Objekt.

  Eine Struktur, die angibt, ob bestimmte Werte als zu entfernende Nullwerte erkannt werden.

• NullTextList – Ein Array mit NullValueField-Objekten, nicht mehr als 50 Strukturen.

  Eine Struktur, die eine Liste von NullValueField Strukturen angibt, die einen benutzerdefinierten Nullwert darstellen, z. B. Null oder einen anderen Wert, der als Null-Platzhalter verwendet wird, der nur für den Datensatz gilt.

  Die DropNullFields-Transformation entfernt benutzerdefinierte Nullwerte nur, wenn sowohl der Wert des Nullplatzhalters als auch der Datentyp mit den Daten übereinstimmen.

NullCheckBoxList Struktur

Gibt an, ob bestimmte Werte als zu entfernende Nullwerte erkannt werden.

Felder

• IsEmpty – Boolesch.

  Gibt an, dass eine leere Zeichenfolge als Nullwert angesehen wird.

• IsNullString – Boolesch.

  Gibt an, dass ein Wert, der das Wort 'null' ausgibt, als Nullwert betrachtet wird.

• IsNegOne – Boolesch.

  Gibt an, dass ein Ganzzahlwert von -1 als Nullwert angesehen wird.

NullValueField Struktur

Stellt einen benutzerdefinierten Nullwert wie Null oder einen anderen Wert dar, der als für den Datensatz eindeutigen Null-Platzhalter verwendet wird.

Felder

• Value— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Der Wert des Null-Platzhalters.

• Datatype – Erforderlich: Ein Datatype-Objekt.

  Der Datentyp des Wertes.

Datatype-Struktur

Eine Struktur, die den Datentyp des Wertes darstellt.

Felder

• Id— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Der Datentyp des Wertes.

• Label— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Ein Label, das dem Datentyp zugewiesen ist.

Merge-Struktur

Gibt eine Transformation an, die ein DynamicFrame mit einem Staging-DynamicFrame basierend auf den angegebenen Primärschlüsseln zusammenführt, um Datensätze zu identifizieren. Doppelte Datensätze (Datensätze mit denselben Primärschlüsseln) werden nicht dedupliziert.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #45

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Source— Erforderlich: UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #42

  Der DynamicFrame der Quelle, der mit einem Staging-DynamicFrame zusammengeführt werden wird.

• PrimaryKeys— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Die Liste der Primärschlüsselfelder, die Datensätze aus den Quell- und dynamischen Staging-Frames abgleichen.

Union-Struktur

Gibt eine Transformation an, die die Zeilen aus zwei oder mehr Datensätzen zu einem einzigen Ergebnis kombiniert.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #45

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.

  Die Knoten-ID gibt die Transformation ein.

• UnionType— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: ALL |DISTINCT).

  Gibt den Typ der Union-Transformation an.

  Geben Sie ALL an, dass alle Zeilen aus Datenquellen mit dem Ergebnis DynamicFrame verknüpft werden sollen. Die resultierende Verbindung entfernt keine doppelten Zeilen.

  Geben Sie DISTINCT an, ob doppelte Zeilen im Ergebnis entfernt werden sollen DynamicFrame.

PIIDetectionStruktur

Gibt eine Transformation an, die PII Daten identifiziert, entfernt oder maskiert.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten-ID gibt die Transformation ein.

• PiiType— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: RowAudit | | RowMasking ColumnAudit |ColumnMasking).

  Gibt den Typ der PIIDetection Transformation an.

• EntityTypesToDetect— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Gibt die Typen von Entitäten an, die die PIIDetection Transformation als PII Daten identifizieren wird.

  PIIZu den Typentitäten gehören: PERSON USA _ NAMEDATE,SNN, USA _EMAIL, _ITIN, USA PASSPORT _NUMBER, PHONE _NUMBER, BANK _ACCOUNT, IP_ADDRESS, _, MAC _ADDRESS, USA CPT _CODE, _ USA _CODE, HCPCS _ USA _, NATIONAL _ DRUG _ USA _CODE, MEDICARE _ BENEFICIARY _ _IDENTIFIER, USA HEALTH _ INSURANCE _NUMBER, CLAIM _ CREDIT _CARD, USA _ NATIONAL_ PROVIDER _IDENTIFIER, USA _ DEA _NUMBER, USA _ _ DRIVING LICENSE

• OutputColumnName— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Gibt den Namen der Ausgabespalte an, der jeden in dieser Zeile erkannten Entitätstyp enthält.

• SampleFraction – Zahl (Double), nicht mehr als 1.

  Gibt den Bruchteil der Daten an, der beim Scannen nach PII Objekten abgetastet werden soll.

• ThresholdFraction – Zahl (Double), nicht mehr als 1.

  Gibt den Bruchteil der Daten an, der erfüllt sein muss, damit eine Spalte als PII Daten identifiziert werden kann.

• MaskValue— UTF -8 Zeichenfolge, nicht mehr als 256 Byte lang, entspricht. Custom string pattern #40

  Gibt den Wert an, der die erkannte Entität ersetzt.

Aggregierte Struktur

Gibt eine Transformation an, die Zeilen nach ausgewählten Feldern gruppiert und den aggregierten Wert nach der angegebenen Funktion berechnet.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #45

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Gibt die Felder und Zeilen an, die als Eingaben für die Aggregat-Transformation verwendet werden sollen.

• Groups— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Gibt die Felder an, nach denen gruppiert werden sollen.

• Aggs – Erforderlich: Ein Array mit AggregateOperation-Objekten, nicht weniger als 1 und nicht mehr als 30 Strukturen.

  Gibt die Aggregatfunktionen an, die für bestimmte Felder ausgeführt werden sollen.

DropDuplicates Struktur

Gibt eine Transformation an, die Zeilen mit sich wiederholenden Daten aus einem Datensatz entfernt.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Columns— Ein Array von UTF -8 Zeichenketten.

  Der Name der Spalten, die bei Wiederholung zusammengeführt oder entfernt werden sollen.

GovernedCatalogTarget Struktur

Gibt ein Datenziel an, das mithilfe des AWS Glue Datenkatalogs in Amazon S3 schreibt.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datenziels.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Ein Array von UTF -8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Der Name der Datenbank, in die geschrieben wird.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, die das Aktualisierungsverhalten für den verwalteten Katalog festlegt.

GovernedCatalogSource Struktur

Gibt den Datenspeicher im verwalteten AWS Glue Datenkatalog an.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des Datastores.

• Database— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Die zu lesende Datenbanktabelle.

• PartitionPredicate— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht. Festgelegt auf "" – standardmäßig auf leer festgelegt.

• AdditionalOptions – Ein S3 SourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

AggregateOperation Struktur

Gibt den Parametersatz an, der zum Ausführen der Aggregation in der Aggregations-Transformation erforderlich ist.

Felder

• Column— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  Gibt die Spalte im Datensatz an, auf die die Aggregationsfunktion angewendet wird.

• AggFunc— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: avg | | countDistinct | count | first | last | | kurtosis | max | min | skewness | stddev_samp | stddev_pop | | sum sumDistinct var_samp |var_pop).

  Gibt die Aggregationsfunktion an, die angewendet werden soll.

  Zu den möglichen Aggregationsfunktionen gehören: avgcountDistinct, count, first, last, kurtosis, max, min, skewness, stddev_samp, stddev_pop, sum, var_samp, var_pop sumDistinct

GlueSchema Struktur

Gibt ein benutzerdefiniertes Schema an, wenn ein Schema nicht durch AWS Glue bestimmt werden kann.

Felder

• Columns – Ein Array mit GlueStudioSchemaColumn-Objekten.

  Gibt die Spaltendefinitionen an, aus denen ein AWS Glue Schema besteht.

GlueStudioSchemaColumn Struktur

Gibt eine einzelne Spalte in einer AWS Glue Schemadefinition an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, nicht mehr als 1024 Byte lang, entspricht. Single-line string pattern

  Der Name der Spalte im AWS Glue Studio-Schema.

• Type— UTF -8 Zeichenfolge, nicht mehr als 131072 Byte lang, entspricht. Single-line string pattern

  Der Strukturtyp für diese Spalte im Studio-Schema. AWS Glue

GlueStudioColumn Struktur

Gibt eine einzelne Spalte in AWS Glue Studio an.

Felder

• Key— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.

  Der Schlüssel der Spalte in AWS Glue Studio.

• FullPath— Erforderlich: Ein Array von UTF -8 Zeichenketten.

  TThevoll URL von der Kolumne in AWS Glue Studio.

• Type— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: array="ARRAY" | bigint="BIGINT" | bigint array="BIGINT_ARRAY" | binary="BINARY" | binary array="BINARY_ARRAY" | | boolean="BOOLEAN" | boolean array="BOOLEAN_ARRAY" | byte="BYTE" | byte array="BYTE_ARRAY" | char="CHAR" | char array="CHAR_ARRAY" | choice="CHOICE" | choice array="CHOICE_ARRAY" | date="DATE" | date array="DATE_ARRAY" | decimal="DECIMAL" | | decimal array="DECIMAL_ARRAY" | double="DOUBLE" | double array="DOUBLE_ARRAY" | enum="ENUM" | enum array="ENUM_ARRAY" | float="FLOAT" | float array="FLOAT_ARRAY" | int="INT" | int array="INT_ARRAY" | interval="INTERVAL" | | interval array="INTERVAL_ARRAY" | long="LONG" | long array="LONG_ARRAY" | object="OBJECT" | short="SHORT" | short array="SHORT_ARRAY" smallint="SMALLINT"| | smallint array="SMALLINT_ARRAY" | string="STRING" | string array="STRING_ARRAY" | | timestamp="TIMESTAMP" | timestamp array="TIMESTAMP_ARRAY" | | tinyint="TINYINT" | tinyint array="TINYINT_ARRAY" | varchar="VARCHAR" | | varchar array="VARCHAR_ARRAY" | null="NULL" | unknown="UNKNOWN" |unknown array="UNKNOWN_ARRAY").

  TTheTyp der Spalte in AWS Glue Studio.

• Children – Eine Reihe von Strukturen.

  TTheuntergeordnete Elemente der übergeordneten Spalte in AWS Glue Studio.

DynamicTransform Struktur

Gibt den Parametersatz an, der zum Ausführen der dynamischen Transformation erforderlich ist.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Gibt den Namen der dynamischen Transformation an.

• TransformName— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt den Namen der dynamischen Transformation an, so wie er im Visual Editor von AWS Glue Studio angezeigt wird.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenfolgen, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Gibt die erforderlichen Eingaben für die dynamische Transformation an.

• Parameters – Ein Array mit TransformConfigParameter-Objekten.

  Gibt die Parameter der dynamischen Transformation an.

• FunctionName— Erforderlich: UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Gibt den Namen der Funktion der dynamischen Transformation an.

• Path— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt den Pfad der Quell- und Konfigurationsdateien der dynamischen Transformation an.

• Version— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Dieses Feld wird nicht verwendet und wird in zukünftigen Versionen veraltet sein.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die dynamische Transformation an.

TransformConfigParameter Struktur

Gibt die Parameter in der Konfigurationsdatei der dynamischen Transformation an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.

  Gibt den Namen des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• Type— Erforderlich: UTF -8 Zeichenfolge (gültige Werte: str="STR" | | int="INT" | float="FLOAT" | | complex="COMPLEX" bool="BOOL" list="LIST" |null="NULL").

  Gibt den Parametertyp in der Konfigurationsdatei der dynamischen Transformation an.

• ValidationRule— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43

  Gibt die Validierungsregel in der Konfigurationsdatei der dynamischen Transformation an.

• ValidationMessage— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Gibt die Validierungsnachricht in der Konfigurationsdatei der dynamischen Transformation an.

• Value— Ein Array von UTF -8 Zeichenketten.

  Gibt den Wert des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• ListType— UTF -8 Zeichenfolge (gültige Werte: str="STR" | | int="INT" | | float="FLOAT" | complex="COMPLEX" bool="BOOL" list="LIST" |null="NULL").

  Gibt den Listentyp des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• IsOptional – Boolesch.

  Gibt an, ob der Parameter in der Konfigurationsdatei der dynamischen Transformation optional ist oder nicht.

EvaluateDataQuality Struktur

Gibt Ihre Auswertungskriterien für die Datenqualität an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name der Datenqualitätsbewertung.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Eingaben Ihrer Datenqualitätsbewertung.

• Ruleset— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 65536 Byte lang, entspricht. Custom string pattern #41

  Der Regelsatz für Ihre Bewertung der Datenqualität.

• Output— Zeichenfolge UTF -8 (gültige Werte: |). PrimaryInput EvaluationResults

  Das Ergebnis Ihrer Datenqualitätsbewertung.

• PublishingOptions – Ein DQResultsPublishingOptions-Objekt.

  Optionen zum Konfigurieren der Veröffentlichung Ihrer Ergebnisse.

• StopJobOnFailureOptions – Ein DQStopJobOnFailureOptions-Objekt.

  Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.

DQResultsPublishingOptionsStruktur

Optionen zum Konfigurieren der Veröffentlichung der Ergebnisse Ihrer Datenqualitätsauswertung.

Felder

• EvaluationContext— UTF -8 Zeichenfolge, entspricht derCustom string pattern #42.

  Der Kontext der Bewertung.

• ResultsS3Prefix— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Das Amazon-S3-Präfix wurde den Ergebnissen vorangestellt.

• CloudWatchMetricsEnabled – Boolesch.

  Aktivieren Sie Metriken für Ihre Datenqualitätsergebnisse.

• ResultsPublishingEnabled – Boolesch.

  Aktivieren Sie die Veröffentlichung Ihrer Datenqualitätsergebnisse.

DQStopJobOnFailureOptionsStruktur

Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.

Felder

• StopJobOnFailureTiming— UTF -8 Zeichenfolge (gültige Werte: Immediate |AfterDataLoad).

  Wann Sie den Auftrag anhalten sollten, wenn Ihre Datenqualitätsbewertung fehlschlägt. Die Optionen sind Sofort oder AfterDataLoad.

EvaluateDataQualityMultiFrame Struktur

Gibt Ihre Auswertungskriterien für die Datenqualität an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name der Datenqualitätsbewertung.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenketten, mindestens 1 Zeichenfolge.

  Die Eingaben Ihrer Datenqualitätsbewertung. Die erste Eingabe in dieser Liste ist die primäre Datenquelle.

• AdditionalDataSources – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #45

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Die Aliase aller Datenquellen mit Ausnahme der primären.

• Ruleset— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 65536 Byte lang, entspricht. Custom string pattern #41

  Der Regelsatz für Ihre Bewertung der Datenqualität.

• PublishingOptions – Ein DQResultsPublishingOptions-Objekt.

  Optionen zum Konfigurieren der Veröffentlichung Ihrer Ergebnisse.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge mit UTF -8 (gültige Werte: |). performanceTuning.caching="CacheOption" observations.scope="ObservationsOption"

  Jeder Wert ist eine Zeichenfolge mit UTF -8.

  Optionen zum Konfigurieren des Laufzeitverhaltens der Transformation.

• StopJobOnFailureOptions – Ein DQStopJobOnFailureOptions-Objekt.

  Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.

Struktur des Rezepts

Ein AWS Glue Studio-Knoten, der ein AWS Glue DataBrew Rezept in AWS Glue Jobs verwendet.

Felder

• Name— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.

  Der Name des AWS Glue Studio-Knotens.

• Inputs— Erforderlich: Ein Array von UTF -8 Zeichenfolgen, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für den Rezeptknoten sind, identifiziert durch die ID.

• RecipeReference – Ein RecipeReference-Objekt.

  Ein Verweis auf das vom Knoten verwendete DataBrew Rezept.

• RecipeSteps – Ein Array mit RecipeStep-Objekten.

  Transformationsschritte, die im Rezeptknoten verwendet werden.

RecipeReference Struktur

Ein Verweis auf ein AWS Glue DataBrew Rezept.

Felder

• RecipeArn— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #43.

  Das ARN des DataBrew Rezepts.

• RecipeVersion— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 16 Byte lang.

  Das RecipeVersion des DataBrew Rezepts.

SnowflakeNodeData Struktur

Gibt die Konfiguration für Snowflake-Knoten in Studio an AWS Glue .

Felder

• SourceType— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #42

  Gibt an, wie abgerufene Daten angegeben werden. Zulässige Werte: "table", "query".

• Connection – Ein Option-Objekt.

  Gibt eine AWS Glue Datenkatalogverbindung zu einem Snowflake-Endpunkt an.

• Schema— UTF -8 Zeichenfolge.

  Gibt ein Snowflake-Datenbankschema an, das Ihr Knoten verwenden soll.

• Table— UTF -8 Zeichenfolge.

  Gibt eine Snowflake-Tabelle an, die Ihr Knoten verwenden soll.

• Database— UTF -8 Zeichenfolge.

  Gibt eine Snowflake-Datenbank an, die Ihr Knoten verwenden soll.

• TempDir— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  Derzeit nicht verwendet.

• IamRole – Ein Option-Objekt.

  Derzeit nicht verwendet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43

  Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43

  Gibt zusätzliche Optionen an, die an den Snowflake-Konnektor übergeben werden. Wenn an anderer Stelle in diesem Knoten Optionen angegeben werden, hat dies Vorrang.

• SampleQuery— UTF -8 Zeichenfolge.

  Eine SQL Zeichenfolge, die zum Abrufen von Daten mit dem query Quelltyp verwendet wird.

• PreAction— UTF -8 Zeichenfolge.

  Eine SQL Zeichenfolge, die ausgeführt wird, bevor der Snowflake-Connector seine Standardaktionen ausführt.

• PostAction— UTF -8 Zeichenfolge.

  Eine SQL Zeichenfolge, die ausgeführt wird, nachdem der Snowflake-Konnektor seine Standardaktionen ausgeführt hat.

• Action— UTF -8 Zeichenfolge.

  Gibt an, welche Aktion beim Schreiben in eine Tabelle mit bereits vorhandenen Daten ausgeführt werden soll. Zulässige Werte: append, merge, truncate, drop.

• Upsert – Boolesch.

  Wird verwendet, wenn die Aktion append ist. Gibt das Auflösungsverhalten an, wenn bereits eine Zeile vorhanden ist. Wenn der Wert wahr ist, werden bereits vorhandene Zeilen aktualisiert. Wenn der Wert falsch ist, werden diese Zeilen eingefügt.

• MergeAction— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Gibt eine Zusammenführungsaktion an. Zulässige Werte: simple, custom. Wenn das Zusammenführungsverhalten einfach ist, wird es durch MergeWhenMatched und MergeWhenNotMatched definiert. Falls benutzerdefiniert, durch MergeClause definiert.

• MergeWhenMatched— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Gibt an, wie Datensätze, die mit bereits vorhandenen Daten übereinstimmen, beim Zusammenführen aufgelöst werden. Zulässige Werte: update, delete.

• MergeWhenNotMatched— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42

  Gibt an, wie Datensätze, die nicht mit bereits vorhandenen Daten übereinstimmen, beim Zusammenführen verarbeitet werden. Zulässige Werte: insert, none.

• MergeClause— UTF -8 Zeichenfolge.

  Eine SQL Anweisung, die ein benutzerdefiniertes Zusammenführungsverhalten spezifiziert.

• StagingTable— UTF -8 Zeichenfolge.

  Der Name einer Staging-Tabelle, die beim Ausführen von merge- oder Upsert-append-Aktionen verwendet wird. Daten werden in diese Tabelle geschrieben und dann durch eine generierte Folgeaktion nach table verschoben.

• SelectedColumns – Ein Array mit Option-Objekten.

  Gibt die kombinierten Spalten an, um einen Datensatz zu identifizieren, wenn Übereinstimmungen für Zusammenführungen und Upserts ermittelt werden. Eine Liste von Strukturen mit value-, label- und description-Schlüsseln. Jede Struktur beschreibt eine Spalte.

• AutoPushdown – Boolesch.

  Gibt an, ob der automatische Abfrage-Pushdown aktiviert ist. Wenn Pushdown aktiviert ist, wird bei der Ausführung einer Abfrage auf Spark ein Teil der Abfrage auf den Snowflake-Server „heruntergeschoben“, wenn dies möglich ist. Dies verbessert die Leistung einiger Abfragen.

• TableSchema – Ein Array mit Option-Objekten.

  Definiert das Zielschema für den Knoten manuell. Eine Liste von Strukturen mit value-, label- und description-Schlüsseln. Jede Struktur definiert eine Spalte.

SnowflakeSource Struktur

Gibt eine Snowflake-Datenquelle an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name der Snowflake-Datenquelle.

• Data – Erforderlich: Ein SnowflakeNodeData-Objekt.

  Konfiguration für die Snowflake-Datenquelle.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt benutzerdefinierte Schemas für Ihre Ausgabedaten an.

SnowflakeTarget Struktur

Gibt ein Snowflake-Ziel an.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name des Snowflake-Ziels.

• Data – Erforderlich: Ein SnowflakeNodeData-Objekt.

  Gibt die Daten des Snowflake-Zielknotens an.

• Inputs— Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

ConnectorDataSource Struktur

Gibt eine Quelle an, die mit Standardverbindungsoptionen generiert wurde.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name dieses Quell-Knotens.

• ConnectionType— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  DasconnectionType, wie es der zugrunde liegenden AWS Glue Bibliothek zur Verfügung gestellt wurde. Dieser Knotentyp unterstützt die folgenden Verbindungstypen:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8.

  Jeder Wert ist eine Zeichenfolge mit UTF -8.

  Eine Zuordnung, die Verbindungsoptionen für den Knoten angibt. Standardverbindungsoptionen für den entsprechenden Verbindungstyp finden Sie im Abschnitt Verbindungsparameter der AWS Glue Dokumentation.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für diese Quelle an.

ConnectorDataTarget Struktur

Gibt ein Ziel an, das mit Standardverbindungsoptionen generiert wurde.

Felder

• Name— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.

  Der Name dieses Ziel-Knotens.

• ConnectionType— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43

  DasconnectionType, wie es der zugrunde liegenden AWS Glue Bibliothek zur Verfügung gestellt wurde. Dieser Knotentyp unterstützt die folgenden Verbindungstypen:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8.

  Jeder Wert ist eine Zeichenfolge mit UTF -8.

  Eine Zuordnung, die Verbindungsoptionen für den Knoten angibt. Standardverbindungsoptionen für den entsprechenden Verbindungstyp finden Sie im Abschnitt Verbindungsparameter der AWS Glue Dokumentation.

• Inputs— Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.

  Die Knoten, die Eingaben für das Datenziel sind.

RecipeStep Struktur

Ein Rezeptschritt, der in einem Rezeptknoten für die Datenvorbereitung in AWS Glue Studio verwendet wird.

Felder

• Action – Erforderlich: Ein RecipeAction-Objekt.

  Die Transformationsaktion des Rezeptschritts.

• ConditionExpressions – Ein Array mit ConditionExpression-Objekten.

  Die Bedingungsausdrücke für den Rezeptschritt.

RecipeAction Struktur

Aktionen, die im Rezeptknoten für die Datenvorbereitung in AWS Glue Studio definiert sind.

Felder

• Operation— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 128 Byte lang, entspricht. Custom string pattern #38

  Die Funktionsweise der Rezeptaktion.

• Parameters – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die nicht weniger als 1 oder mehr als 128 Byte lang ist und der Custom string pattern #39 entspricht.

  Jeder Wert ist eine Zeichenfolge von UTF -8, die nicht weniger als 1 oder mehr als 32768 Byte lang ist.

  Die Parameter der Rezeptaktion.

ConditionExpression Struktur

Bedingungsausdruck, der im Rezeptknoten für die Datenvorbereitung in AWS Glue Studio definiert ist.

Felder

• Condition— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 128 Byte lang, entspricht. Custom string pattern #38

  Die Bedingung des Bedingungsausdrucks.

• Value— UTF -8 Zeichenfolge, nicht mehr als 1024 Byte lang.

  Der Wert des Bedingungsausdrucks.

• TargetColumn— Erforderlich: Zeichenfolge UTF -8, nicht weniger als 1 oder mehr als 1024 Byte lang.

  Die Zielspalte der Bedingungsausdrücke.