Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Visueller Job API
Mit dem Visual-Job API können Sie Datenintegrationsaufträge erstellen, indem Sie das AWS Glue API From JSON a-Objekt verwenden, das eine visuelle Konfiguration eines AWS Glue Jobs darstellt.
Eine Liste von CodeGenConfigurationNodes
wird für einen Erstellungs- oder Aktualisierungsauftrag bereitgestelltAPI, um einen DAG in AWS Glue Studio für den erstellten Job zu registrieren und den zugehörigen Code zu generieren.
Datentypen
CodeGenConfigurationNode Struktur
CodeGenConfigurationNode
zählt alle gültigen Knotentypen auf. Nur eine ihrer Membervariablen kann ausgefüllt werden.
Felder
-
AthenaConnectorSource
– Ein AthenaConnectorSource-Objekt.Gibt einen Konnektor zu einer Amazon Athena-Datenquelle an.
-
JDBCConnectorSource
– Ein JDBCConnectorSource-Objekt.Gibt einen Konnektor zu einer JDBC Datenquelle an.
-
SparkConnectorSource
– Ein SparkConnectorSource-Objekt.Gibt einen Konnektor zu einer Apache-Spark-Datenquelle an.
-
CatalogSource
– Ein CatalogSource-Objekt.Gibt einen Datenspeicher im AWS Glue Datenkatalog an.
-
RedshiftSource
– Ein RedshiftSource-Objekt.Gibt einen Amazon Redshift-Datenspeicher an.
-
S3CatalogSource
– Ein S3 CatalogSource-Objekt.Gibt einen Amazon S3 S3-Datenspeicher im AWS Glue Datenkatalog an.
-
S3CsvSource
– Ein S3 CsvSource-Objekt.Gibt einen durch Befehle getrennten Datenspeicher mit Wert (CSV) an, der in Amazon S3 gespeichert ist.
-
S3JsonSource
– Ein S3 JsonSource-Objekt.Gibt einen in Amazon S3 gespeicherten JSON Datenspeicher an.
-
S3ParquetSource
– Ein S3 ParquetSource-Objekt.Gibt einen Apache-Parquet-Datenspeicher an, der in Amazon S3 gespeichert ist.
-
RelationalCatalogSource
– Ein RelationalCatalogSource-Objekt.Gibt einen relationalen Katalogdatenspeicher im AWS Glue Datenkatalog an.
-
DynamoDBCatalogSource
– Ein D ynamoDBCatalog Quelle-Objekt.Gibt einen DBC Dynamo-Katalog-Datenspeicher im AWS Glue Datenkatalog an.
-
JDBCConnectorTarget
– Ein JDBCConnectorTarget-Objekt.Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.
-
SparkConnectorTarget
– Ein SparkConnectorTarget-Objekt.Gibt ein Ziel an, das einen Apache-Spark-Konnektor verwendet.
-
CatalogTarget
– Ein BasicCatalogTarget-Objekt.Gibt ein Ziel an, das eine AWS Glue Datenkatalogtabelle verwendet.
-
RedshiftTarget
– Ein RedshiftTarget-Objekt.Gibt ein Ziel an, das Amazon Redshift verwendet.
-
S3CatalogTarget
– Ein S3 CatalogTarget-Objekt.Gibt ein Datenziel an, das mithilfe des AWS Glue Datenkatalogs in Amazon S3 schreibt.
-
S3GlueParquetTarget
– Ein S3 GlueParquetTarget-Objekt.Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.
-
S3DirectTarget
– Ein S3 DirectTarget-Objekt.Gibt ein Datenziel an, das an Amazon S3 schreibt.
-
ApplyMapping
– Ein ApplyMapping-Objekt.Gibt eine Transformation an, die Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel zuordnet. Sie können Schlüssel umbenennen, die Datentypen für Schlüssel ändern und die Schlüssel auswählen, die aus dem Datensatz gelöscht werden sollen.
-
SelectFields
– Ein SelectFields-Objekt.Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie beibehalten möchten.
-
DropFields
– Ein DropFields-Objekt.Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie löschen möchten.
-
RenameField
– Ein RenameField-Objekt.Gibt eine Transformation an, die einen einzelnen Dateneigenschaftsschlüssel umbenennt.
-
Spigot
– Ein Spigot-Objekt.Gibt eine Transformation an, die Beispiele der Daten in einen Amazon S3-Bucket schreibt.
-
Join
– Ein Join-Objekt.Gibt eine Transformation an, die zwei Datensätze mit einer Vergleichsphrase für die angegebenen Dateneigenschaftsschlüssel zu einem Datensatz zusammenführt. Sie können innere, äußere, linke, rechte, linke Hälfte und linke Anti-Joins verwenden.
-
SplitFields
– Ein SplitFields-Objekt.Gibt eine Transformation an, die Dateneigenschaftsschlüssel in zwei te
DynamicFrames
aufteilt. Die Ausgabe ist eine Sammlung vonDynamicFrames
: Einer mit ausgewählten Dateneigenschaftsschlüsseln und einer mit den übrigen Dateneigenschaftsschlüsseln. -
SelectFromCollection
– Ein SelectFromCollection-Objekt.Gibt eine Transformation an, die einen
DynamicFrame
aus einer Reihe vonDynamicFrames
auswählt. Die Ausgabe ist das ausgewählteDynamicFrame
. -
FillMissingValues
– Ein FillMissingValues-Objekt.Gibt eine Transformation an, bei der Akten im Datensatz gesucht werden können, die fehlende Werte aufweisen, und die ein neues Feld mit einem durch Imputation bestimmten Wert hinzufügt. Mit dem Eingabedatensatz wird das Modell zum Machine Learning (ML) trainiert, das den fehlenden Wert bestimmt.
-
Filter
– Ein Filter-Objekt.Gibt eine Transformation an, die einen Datensatz basierend auf einer Filterbedingung in zwei Teile teilt.
-
CustomCode
– Ein CustomCode-Objekt.Gibt eine Transformation an, die benutzerdefinierten Code verwendet, den Sie zur Durchführung der Datentransformation bereitstellen. Die Ausgabe ist eine Sammlung von DynamicFrames.
-
SparkSQL
– Ein Funke SQL-Objekt.Gibt eine Transformation an, bei der Sie eine SQL Abfrage mithilfe der SQL Spark-Syntax eingeben, um die Daten zu transformieren. Die Ausgabe ist ein einzelner
DynamicFrame
. -
DirectKinesisSource
– Ein DirectKinesisSource-Objekt.Gibt eine direkte Amazon Kinesis-Datenquelle an.
-
DirectKafkaSource
– Ein DirectKafkaSource-Objekt.Gibt einen Apache-Kafka-Datenspeicher an.
-
CatalogKinesisSource
– Ein CatalogKinesisSource-Objekt.Gibt eine Kinesis-Datenquelle im AWS Glue Datenkatalog an.
-
CatalogKafkaSource
– Ein CatalogKafkaSource-Objekt.Gibt einen Apache-Kafka-Datenspeicher im Data Catalog an.
-
DropNullFields
– Ein DropNullFields-Objekt.Gibt eine Transformation an, die Spalten aus dem Datensatz entfernt, wenn alle Werte in der Spalte „null“ sind. Standardmäßig erkennt AWS Glue Studio Null-Objekte, aber einige Werte wie leere Zeichenketten, Zeichenketten, die „Null“ sind, ganze Zahlen vom Typ -1 oder andere Platzhalter wie Nullen, werden nicht automatisch als Nullen erkannt.
-
Merge
– Ein Merge-Objekt.Gibt eine Transformation an, die ein
DynamicFrame
mit einem Staging-DynamicFrame
basierend auf den angegebenen Primärschlüsseln zusammenführt, um Datensätze zu identifizieren. Doppelte Datensätze (Datensätze mit denselben Primärschlüsseln) werden nicht dedupliziert. -
Union
– Ein Union-Objekt.Gibt eine Transformation an, die die Zeilen aus zwei oder mehr Datensätzen zu einem einzigen Ergebnis kombiniert.
-
PIIDetection
– Ein PIIDetection-Objekt.Gibt eine Transformation an, die Daten identifiziert, entfernt oder maskiert. PII
-
Aggregate
– Ein Aggregate-Objekt.Gibt eine Transformation an, die Zeilen nach ausgewählten Feldern gruppiert und den aggregierten Wert nach der angegebenen Funktion berechnet.
-
DropDuplicates
– Ein DropDuplicates-Objekt.Gibt eine Transformation an, die Zeilen mit sich wiederholenden Daten aus einem Datensatz entfernt.
-
GovernedCatalogTarget
– Ein GovernedCatalogTarget-Objekt.Gibt ein Datenziel an, das in einen gesteuerten Katalog schreibt.
-
GovernedCatalogSource
– Ein GovernedCatalogSource-Objekt.Gibt eine Datenquelle in einem gesteuerten Datenkatalog an.
-
MicrosoftSQLServerCatalogSource
– Ein M icrosoftSQLServer CatalogSource-Objekt.Gibt eine SQL Microsoft-Serverdatenquelle im AWS Glue Datenkatalog an.
-
MySQLCatalogSource
– Ein M ySQLCatalog Quelle-Objekt.Gibt eine Meine SQL Datenquelle im AWS Glue Datenkatalog an.
-
OracleSQLCatalogSource
– Ein O racleSQLCatalog Quelle-Objekt.Gibt eine Oracle-Datenquelle im AWS Glue Datenkatalog an.
-
PostgreSQLCatalogSource
– Ein ostgreSQLCatalogP-Quelle-Objekt.Gibt eine Postgres-Datenquelle im SQL Datenkatalog an AWS Glue .
-
MicrosoftSQLServerCatalogTarget
– Ein M icrosoftSQLServer CatalogTarget-Objekt.Gibt ein Ziel an, das Microsoft verwendetSQL.
-
MySQLCatalogTarget
– Ein Mein ySQLCatalog Ziel-Objekt.Gibt ein Ziel an, das My verwendetSQL.
-
OracleSQLCatalogTarget
– Ein O racleSQLCatalog Ziel-Objekt.Gibt ein Ziel an, das Oracle verwendetSQL.
-
PostgreSQLCatalogTarget
– Ein P ostgreSQLCatalog Ziel-Objekt.Gibt ein Ziel an, das Postgres SQL verwendet.
-
DynamicTransform
– Ein DynamicTransform-Objekt.Gibt eine benutzerdefinierte visuelle Transformation an, die von einem Benutzer erstellt wurde.
-
EvaluateDataQuality
– Ein EvaluateDataQuality-Objekt.Gibt Ihre Auswertungskriterien für die Datenqualität an.
-
S3CatalogHudiSource
– Ein S3 CatalogHudiSource-Objekt.Gibt eine Hudi-Datenquelle an, die im Datenkatalog registriert ist. AWS Glue Die Datenquelle muss in Amazon S3 gespeichert werden.
-
CatalogHudiSource
– Ein CatalogHudiSource-Objekt.Gibt eine Hudi-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.
-
S3HudiSource
– Ein S3 HudiSource-Objekt.Gibt eine Hudi-Datenquelle an, die in gespeichert ist. Amazon S3
-
S3HudiCatalogTarget
– Ein S3 HudiCatalogTarget-Objekt.Gibt ein Ziel an, das in eine Hudi-Datenquelle im AWS Glue Datenkatalog schreibt.
-
S3HudiDirectTarget
– Ein S3 HudiDirectTarget-Objekt.Gibt ein Ziel an, das in eine Hudi-Datenquelle in schreibt. Amazon S3
-
S3CatalogDeltaSource
– Ein S3 CatalogDeltaSource-Objekt.Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist. Die Datenquelle muss in gespeichert werden Amazon S3.
-
CatalogDeltaSource
– Ein CatalogDeltaSource-Objekt.Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.
-
S3DeltaSource
– Ein S3 DeltaSource-Objekt.Gibt eine Delta Lake-Datenquelle an, die in gespeichert ist Amazon S3.
-
S3DeltaCatalogTarget
– Ein S3 DeltaCatalogTarget-Objekt.Gibt ein Ziel an, das in eine Delta Lake-Datenquelle im AWS Glue Datenkatalog schreibt.
-
S3DeltaDirectTarget
– Ein S3 DeltaDirectTarget-Objekt.Gibt ein Ziel an, das in eine Delta Lake-Datenquelle in schreibt Amazon S3.
-
AmazonRedshiftSource
– Ein AmazonRedshiftSource-Objekt.Gibt ein Ziel an, das in eine Datenquelle in Amazon Redshift schreibt.
-
AmazonRedshiftTarget
– Ein AmazonRedshiftTarget-Objekt.Gibt ein Ziel an, das in ein Datenziel in Amazon Redshift schreibt.
-
EvaluateDataQualityMultiFrame
– Ein EvaluateDataQualityMultiFrame-Objekt.Gibt Ihre Auswertungskriterien für die Datenqualität an. Ermöglicht mehrere Eingabedaten und gibt eine Sammlung von Dynamic Frames zurück.
-
Recipe
– Ein Rezept-Objekt.Gibt einen AWS Glue DataBrew Rezeptknoten an.
-
SnowflakeSource
– Ein SnowflakeSource-Objekt.Gibt eine Snowflake-Datenquelle an.
-
SnowflakeTarget
– Ein SnowflakeTarget-Objekt.Gibt ein Ziel an, das in eine Snowflake-Datenquelle schreibt.
-
ConnectorDataSource
– Ein ConnectorDataSource-Objekt.Gibt eine Quelle an, die mit Standardverbindungsoptionen generiert wurde.
-
ConnectorDataTarget
– Ein ConnectorDataTarget-Objekt.Gibt ein Ziel an, das mit Standardverbindungsoptionen generiert wurde.
JDBCConnectorOptionsStruktur
Zusätzliche Verbindungsoptionen für den Konnektor.
Felder
-
FilterPredicate
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Zusätzliche Bedingungsklausel zum Filtern von Daten aus der Quelle. Zum Beispiel:
BillingCity='Mountain View'
Wenn Sie eine Abfrage anstelle eines Tabellennamens verwenden, sollten Sie überprüfen, ob die Abfrage mit dem angegebenen
filterPredicate
funktioniert. -
PartitionColumn
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name einer Ganzzahlspalte, die für die Partitionierung verwendet wird. Diese Option funktioniert nur, wenn sie in
lowerBound
,upperBound
undnumPartitions
enthalten ist. Diese Option funktioniert genauso wie im SQL JDBC Spark-Reader. -
LowerBound
– Zahl (lang), nicht mehr als Keine.Der Mindestwert von
partitionColumn
, der verwendet wird, um Partitionsschritte festzulegen. -
UpperBound
– Zahl (lang), nicht mehr als Keine.Der Maximalwert von
partitionColumn
, der verwendet wird, um Partitionsschritte festzulegen. -
NumPartitions
– Zahl (lang), nicht mehr als Keine.Die Anzahl an Partitionen. Dieser Wert, zusammen mit
lowerBound
(inklusive) undupperBound
(exklusiv), bilden Partitionsschritte für generierteWHERE
-Klauselausdrücke, die verwendet werden, um diepartitionColumn
aufzuteilen. -
JobBookmarkKeys
— Ein Array von UTF -8 Zeichenketten.Der Name der Auftrags-Lesezeichenschlüssel, nach denen sortiert werden soll.
-
JobBookmarkKeysSortOrder
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Legt eine auf- oder absteigende Sortierreihenfolge fest.
-
DataTypeMapping
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8 (gültige Werte:
ARRAY
|BIGINT
|BINARY
|BIT
|BLOB
|BOOLEAN
|CHAR
|CLOB
|DATALINK
|DATE
|DECIMAL
|DISTINCT
|DOUBLE
|FLOAT
|INTEGER
|JAVA_OBJECT
|LONGNVARCHAR
|LONGVARBINARY
|LONGVARCHAR
|NCHAR
|NCLOB
|NULL
| |NUMERIC
|NVARCHAR
|OTHER
|REAL
|REF
|REF_CURSOR
|ROWID
|SMALLINT
|SQLXML
|STRUCT
|TIME
|TIME_WITH_TIMEZONE
TIMESTAMP
TIMESTAMP_WITH_TIMEZONE
|TINYINT
|VARBINARY
|VARCHAR
).Jeder Wert ist eine Zeichenfolge von UTF -8 (gültige Werte:
DATE
|STRING
|TIMESTAMP
|INT
|FLOAT
| |LONG
|BIGDECIMAL
|BYTE
SHORT
|DOUBLE
).Benutzerdefinierte Datentypzuordnung, die eine Zuordnung von einem JDBC Datentyp zu einem AWS Glue Datentyp erstellt. Die Option
"dataTypeMapping":{"FLOAT":"STRING"}
ordnet beispielsweise Datenfelder vom Typ Java dem JDBCString
Typ JavaFLOAT
zu, indem sie dieResultSet.getString()
Methode des Treibers aufruft, und verwendet sie, um den AWS Glue Datensatz zu erstellen. DasResultSet
-Objekt wird von jedem Treiber implementiert, sodass das Verhalten spezifisch für den von Ihnen verwendeten Treiber ist. Informationen darüber, wie der JDBC Treiber die Konvertierungen durchführt, finden Sie in der Dokumentation zu Ihrem Treiber.
StreamingDataPreviewOptions Struktur
Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.
Felder
-
PollingTime
– Zahl (lang), mindestens 10.Die Abrufzeit in Millisekunden.
-
RecordPollingLimit
– Zahl (lang), mindestens 1.Die Begrenzung der Anzahl der befragten Datensätze.
AthenaConnectorSource Struktur
Gibt einen Konnektor zu einer Amazon Athena-Datenquelle an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name der Datenquelle.
-
ConnectionName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Verbindung, die dem Konnektor zugeordnet ist.
-
ConnectorName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.
-
ConnectionType
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.Die Art der Verbindung, wie marketplace.athena oder custom.athena, die eine Verbindung zu einem Amazon Athena-Datenspeicher bezeichnet.
-
ConnectionTable
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Der Name der Tabelle in der Datenquelle.
-
SchemaName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name des zu lesenden CloudWatch-Protokollgruppenstreams. Beispiel,
/aws-glue/jobs/output
. -
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die benutzerdefinierte Athena-Quelle an.
JDBCConnectorSourceStruktur
Gibt einen Konnektor zu einer JDBC Datenquelle an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name der Datenquelle.
-
ConnectionName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Verbindung, die dem Konnektor zugeordnet ist.
-
ConnectorName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.
-
ConnectionType
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.Der Verbindungstyp, z. B. marketplace.jdbc oder custom.jdbc, der eine Verbindung zu einem Datenspeicher bezeichnet. JDBC
-
AdditionalOptions
– Ein JDBCConnectorOptions-Objekt.Zusätzliche Verbindungsoptionen für den Konnektor.
-
ConnectionTable
— Custom string pattern #43 Zeichenfolge -8, entspricht dem. UTFDer Name der Tabelle in der Datenquelle.
-
Query
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #44Die Tabelle oder SQL Abfrage, aus der die Daten abgerufen werden sollen. Sie können
ConnectionTable
oderquery
angeben, aber nicht beides. -
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die benutzerdefinierte JDBC Quelle an.
SparkConnectorSource Struktur
Gibt einen Konnektor zu einer Apache-Spark-Datenquelle an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name der Datenquelle.
-
ConnectionName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Verbindung, die dem Konnektor zugeordnet ist.
-
ConnectorName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.
-
ConnectionType
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.Die Art der Verbindung, wie marketplace.spark oder custom.spark, die eine Verbindung zu einem Apache-Spark-Datenspeicher bezeichnet.
-
AdditionalOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Zusätzliche Verbindungsoptionen für den Konnektor.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die benutzerdefinierte Sparkquelle an.
CatalogSource Struktur
Gibt einen Datenspeicher im AWS Glue Datenkatalog an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datastores.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
M — Struktur der ySQLCatalog Quelle
Gibt eine Meine SQL Datenquelle im AWS Glue Datenkatalog an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name der Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
P — Struktur der ostgreSQLCatalog Quelle
Gibt eine Postgres-Datenquelle im SQL Datenkatalog an AWS Glue .
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name der Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
O — Struktur der racleSQLCatalog Quelle
Gibt eine Oracle-Datenquelle im AWS Glue Datenkatalog an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name der Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
M-Struktur icrosoftSQLServer CatalogSource
Gibt eine SQL Microsoft-Serverdatenquelle im AWS Glue Datenkatalog an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name der Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
CatalogKinesisSource Struktur
Gibt eine Kinesis-Datenquelle im AWS Glue Datenkatalog an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name der Datenquelle.
-
WindowSize
– Zahl (Ganzzahl), nicht mehr als Keine.Die Zeitspanne für die Verarbeitung der einzelnen Batches.
-
DetectSchema
– Boolesch.Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
StreamingOptions
– Ein KinesisStreamingSourceOptions-Objekt.Zusätzliche Optionen für die Kinesis-Streaming-Datenquelle.
-
DataPreviewOptions
– Ein StreamingDataPreviewOptions-Objekt.Zusätzliche Optionen für die Datenvorschau.
DirectKinesisSource Struktur
Gibt eine direkte Amazon Kinesis-Datenquelle an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name der Datenquelle.
-
WindowSize
– Zahl (Ganzzahl), nicht mehr als Keine.Die Zeitspanne für die Verarbeitung der einzelnen Batches.
-
DetectSchema
– Boolesch.Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.
-
StreamingOptions
– Ein KinesisStreamingSourceOptions-Objekt.Zusätzliche Optionen für die Kinesis-Streaming-Datenquelle.
-
DataPreviewOptions
– Ein StreamingDataPreviewOptions-Objekt.Zusätzliche Optionen für die Datenvorschau.
KinesisStreamingSourceOptions Struktur
Zusätzliche Optionen für die Amazon Kinesis-Streaming-Datenquelle.
Felder
-
EndpointUrl
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Der URL des Kinesis-Endpunkts.
-
StreamName
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Der Name des Kinesis-Datenstroms.
-
Classification
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Eine optionale Klassifizierung.
-
Delimiter
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt das Trennzeichen an.
-
StartingPosition
— UTF -8 Zeichenfolge (gültige Werte:latest="LATEST"
| |trim_horizon="TRIM_HORIZON"
earliest="EARLIEST"
|timestamp="TIMESTAMP"
).Die Ausgangsposition im Kinesis Data Stream, von dem Daten gelesen werden sollen. Die möglichen Werte sind
"latest"
,"trim_horizon"
"earliest"
, oder eine Zeitstempelzeichenfolge im UTC Format des Mustersyyyy-mm-ddTHH:MM:SSZ
(wobei es sich um einen UTC Zeitzonen-Offset mit einem +/-Z
handelt). Zum Beispiel: „2023-04-04T 08:00:00-04:00 „). Der Standardwert ist"latest"
.Hinweis: Die Verwendung eines Werts, der eine Zeitstempelzeichenfolge im UTC Format "" ist, wird nur für Version 4.0 oder höher unterstütztstartingPosition. AWS Glue
-
MaxFetchTimeInMs
– Zahl (lang), nicht mehr als Keine.Die maximale Zeit, die der Job Executor benötigt, um Datensätze für den aktuellen Batch aus dem Kinesis-Datenstream zu lesen, angegeben in Millisekunden (ms). Innerhalb dieser Zeit können mehrere
GetRecords
API Anrufe getätigt werden. Der Standardwert ist1000
. -
MaxFetchRecordsPerShard
– Zahl (lang), nicht mehr als Keine.Die maximale Anzahl von Datensätzen, die pro Shard im Kinesis-Datenstrom pro Mikrobatch abgerufen werden können. Hinweis: Der Client kann dieses Limit überschreiten, wenn der Streaming-Job bereits zusätzliche Datensätze von Kinesis gelesen hat (im selben Get-Records-Aufruf). Wenn es streng sein
MaxFetchRecordsPerShard
muss, muss es ein Vielfaches von sein.MaxRecordPerRead
Der Standardwert ist100000
. -
MaxRecordPerRead
– Zahl (lang), nicht mehr als Keine.Die maximale Anzahl von Datensätzen, die bei jedem getRecords Vorgang aus dem Kinesis-Datenstrom abgerufen werden sollen. Der Standardwert ist
10000
. -
AddIdleTimeBetweenReads
– Boolesch.Fügt eine Zeitverzögerung zwischen zwei aufeinanderfolgenden getRecords Vorgängen hinzu. Der Standardwert ist
"False"
. Diese Option ist nur für Glue 2.0 und höher konfigurierbar. -
IdleTimeBetweenReadsInMs
– Zahl (lang), nicht mehr als Keine.Die minimale Zeitverzögerung zwischen zwei aufeinanderfolgenden getRecords Vorgängen, angegeben in ms. Der Standardwert ist
1000
. Diese Option ist nur für Glue 2.0 und höher konfigurierbar. -
DescribeShardInterval
– Zahl (lang), nicht mehr als Keine.Das minimale Zeitintervall zwischen zwei ListShards API Aufrufen, in dem Ihr Skript ein Resharding in Betracht ziehen muss. Der Standardwert ist
1s
. -
NumRetries
– Zahl (Ganzzahl), nicht mehr als Keine.Die maximale Anzahl von Wiederholungen für Kinesis Data Streams API Streams-Anfragen. Der Standardwert ist
3
. -
RetryIntervalMs
– Zahl (lang), nicht mehr als Keine.Die Abkühlzeit (angegeben in ms), bevor der Kinesis Data Streams Streams-Aufruf erneut versucht wird. API Der Standardwert ist
1000
. -
MaxRetryIntervalMs
– Zahl (lang), nicht mehr als Keine.Die maximale Abkühlzeit (angegeben in ms) zwischen zwei Wiederholungen eines Kinesis Data Streams Streams-Anrufs. API Der Standardwert ist
10000
. -
AvoidEmptyBatches
– Boolesch.Vermeidet das Erstellen eines leeren Mikrobatchauftrags, indem vor dem Start des Batches im Kinesis Data Stream nach ungelesenen Daten gesucht wird. Der Standardwert ist
"False"
. -
StreamArn
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Der Amazon-Ressourcenname (ARN) des Kinesis-Datenstroms.
-
RoleArn
— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #43Der Amazon-Ressourcenname (ARN) der Rolle, die mithilfe des AWS Security Token Service (AWSSTS) übernommen werden soll. Diese Rolle muss über Berechtigungen zum Beschreiben oder Lesen von Datensatzoperationen für den Kinesis-Datenstrom verfügen. Sie müssen diesen Parameter verwenden, wenn Sie auf einen Datenstrom in einem anderen Konto zugreifen. Verwendet in Verbindung mit
"awsSTSSessionName"
. -
RoleSessionName
— Zeichenfolge UTF -8, entspricht demCustom string pattern #43.Ein Bezeichner für die Sitzung, die die Rolle annimmt, die. AWS STS Sie müssen diesen Parameter verwenden, wenn Sie auf einen Datenstrom in einem anderen Konto zugreifen. Verwendet in Verbindung mit
"awsSTSRoleARN"
. -
AddRecordTimestamp
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Wenn diese Option auf 'true' gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „__src_timestamp“, die die Uhrzeit angibt, zu der der entsprechende Datensatz mit dem Stream empfangen wurde. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.
-
EmitConsumerLagMetrics
— Zeichenfolge UTF -8, entspricht derCustom string pattern #43.Wenn diese Option auf „true“ gesetzt ist, werden für jeden Batch die Metriken für den Zeitraum zwischen dem ältesten Datensatz, der vom Stream empfangen wurde, und dem Zeitpunkt, AWS Glue zu CloudWatch dem er eingeht, ausgegeben. Der Name der Metrik lautet „glue.driver.streaming“. maxConsumerLagInMs“. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.
-
StartingTimestamp
— UTF -8 Zeichenfolge.Der Zeitstempel des Datensatzes im Kinesis-Datenstrom, aus dem mit dem Lesen der Daten begonnen werden soll. Die möglichen Werte sind eine Zeitstempelzeichenfolge im UTC Format des Musters
yyyy-mm-ddTHH:MM:SSZ
(wobei Z für einen UTC Zeitzonen-Offset mit einem +/- steht). Zum Beispiel: „2023-04-04T 08:00:00 + 08:00 „).
CatalogKafkaSource Struktur
Gibt einen Apache-Kafka-Datenspeicher im Data Catalog an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Datastores.
-
WindowSize
– Zahl (Ganzzahl), nicht mehr als Keine.Die Zeitspanne für die Verarbeitung der einzelnen Batches.
-
DetectSchema
– Boolesch.Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
StreamingOptions
– Ein KafkaStreamingSourceOptions-Objekt.Gibt die Streaming-Optionen an.
-
DataPreviewOptions
– Ein StreamingDataPreviewOptions-Objekt.Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.
DirectKafkaSource Struktur
Gibt einen Apache-Kafka-Datenspeicher an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Datastores.
-
StreamingOptions
– Ein KafkaStreamingSourceOptions-Objekt.Gibt die Streaming-Optionen an.
-
WindowSize
– Zahl (Ganzzahl), nicht mehr als Keine.Die Zeitspanne für die Verarbeitung der einzelnen Batches.
-
DetectSchema
– Boolesch.Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.
-
DataPreviewOptions
– Ein StreamingDataPreviewOptions-Objekt.Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.
KafkaStreamingSourceOptions Struktur
Zusätzliche Optionen zum Streaming.
Felder
-
BootstrapServers
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Eine Liste von Bootstrap-ServernURLs, zum Beispiel als.
b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094
Diese Option muss im API Aufruf angegeben oder in den Tabellenmetadaten im Datenkatalog definiert werden. -
SecurityProtocol
— UTF -8 Zeichenfolge, entspricht demCustom string pattern #43.Das Protokoll, das für die Kommunikation mit Brokern verwendet wird. Die möglichen Werte sind
"SSL"
oder"PLAINTEXT"
. -
ConnectionName
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Verbindung.
-
TopicName
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name des Themas, wie in Apache Kafka angegeben. Sie müssen mindestens einen der folgenden Aspekte angeben:
"topicName"
,"assign"
oder"subscribePattern"
. -
Assign
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die spezifischen zu verbrauchenden
TopicPartitions
. Sie müssen mindestens einen der folgenden Aspekte angeben:"topicName"
,"assign"
oder"subscribePattern"
. -
SubscribePattern
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Eine Java-Regex-Zeichenfolge, die die Themenliste identifiziert, die abonniert werden soll. Sie müssen mindestens einen der folgenden Aspekte angeben:
"topicName"
,"assign"
oder"subscribePattern"
. -
Classification
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Eine optionale Klassifizierung.
-
Delimiter
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt das Trennzeichen an.
-
StartingOffsets
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Ausgangsposition im Kafka-Thema, aus dem Daten gelesen werden sollen. Die möglichen Werte sind
"earliest"
oder"latest"
. Der Standardwert ist"latest"
. -
EndingOffsets
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Endpunkt, wenn eine Batchabfrage beendet wird. Mögliche Werte sind entweder
"latest"
oder eine JSON Zeichenfolge, die jeweilsTopicPartition
einen Endversatz angibt. -
PollTimeoutMs
– Zahl (lang), nicht mehr als Keine.Das Timeout in Millisekunden, um Daten von Kafka in Spark-Auftragsausführungen abzufragen. Der Standardwert ist
512
. -
NumRetries
– Zahl (Ganzzahl), nicht mehr als Keine.Die Anzahl, wie oft erneute Versuche durchgeführt werden sollen, bevor Kafka-Offsets nicht abgerufen werden. Der Standardwert ist
3
. -
RetryIntervalMs
– Zahl (lang), nicht mehr als Keine.Die Wartezeit in Millisekunden, bevor Sie erneut versuchen, Kafka-Offsets abzurufen. Der Standardwert ist
10
. -
MaxOffsetsPerTrigger
– Zahl (lang), nicht mehr als Keine.Die Ratengrenze für die maximale Anzahl von Offsets, die pro Triggerintervall verarbeitet werden. Die angegebene Gesamtzahl der Offsets wird proportional auf
topicPartitions
von verschiedenen Volumes aufgeteilt. Der Standardwert ist null, was bedeutet, dass der Verbraucher alle Offsets bis zum bekannten letzten Offset liest. -
MinPartitions
– Zahl (Ganzzahl), nicht mehr als Keine.Die gewünschte Mindestanzahl an Partitionen, die von Kafka gelesen werden sollen. Der Standardwert ist null, was bedeutet, dass die Anzahl der Spark-Partitionen gleich der Anzahl der Kafka-Partitionen ist.
-
IncludeHeaders
– Boolesch.Ob die Kafka-Header eingeschlossen werden sollen. Wenn die Option auf „true“ gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „glue_streaming_kafka_headers“ mit dem Typ
Array[Struct(key: String, value: String)]
. Der Standardwert ist „false“. Diese Option ist nur in AWS Glue Version 3.0 oder höher verfügbar. -
AddRecordTimestamp
— Zeichenfolge UTF -8, entspricht demCustom string pattern #43.Wenn diese Option auf „true“ gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „__src_timestamp“, die den Zeitpunkt angibt, zu dem der entsprechende Datensatz beim Thema eingegangen ist. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.
-
EmitConsumerLagMetrics
— Zeichenfolge UTF -8, entspricht derCustom string pattern #43.Wenn diese Option auf „true“ gesetzt ist, werden für jeden Stapel die Metriken für den Zeitraum zwischen dem ältesten Datensatz, den das Thema erhalten hat, und dem Zeitpunkt, AWS Glue zu CloudWatch dem er eingeht, ausgegeben. Der Name der Metrik lautet „glue.driver.streaming“. maxConsumerLagInMs“. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.
-
StartingTimestamp
— UTF -8 Zeichenfolge.Der Zeitstempel des Datensatzes im Kafka-Thema, aus dem mit dem Lesen von Daten begonnen werden soll. Die möglichen Werte sind eine Zeitstempelzeichenfolge im UTC Format des Musters
yyyy-mm-ddTHH:MM:SSZ
(wobei Z für einen UTC Zeitzonen-Offset mit einem +/- steht). Zum Beispiel: „2023-04-04T 08:00:00 + 08:00 „).Es muss nur ein
StartingTimestamp
oderStartingOffsets
festgelegt werden.
RedshiftSource Struktur
Gibt einen Amazon Redshift-Datenspeicher an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Amazon-Redshift-Datenspeichers.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die zu lesende Datenbanktabelle.
-
RedshiftTmpDir
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.
-
TmpDirIAMRole
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die IAM Rolle mit Berechtigungen.
AmazonRedshiftSource Struktur
Gibt eine Amazon-Redshift-Quelle an.
Felder
-
Name
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name der Amazon-Redshift-Quelle.
-
Data
– Ein AmazonRedshiftNodeData-Objekt.Gibt die Daten des Amazon-Reshift-Quellknotens an.
AmazonRedshiftNodeData Struktur
Gibt einen Amazon-Redshift-Knoten an.
Felder
-
AccessType
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #42.Der Zugriffstyp für die Redshift-Verbindung. Dies kann eine direkte Verbindung oder eine Katalogverbindung sein.
-
SourceType
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Der Quelltyp, der angibt, ob eine bestimmte Tabelle die Quelle oder eine benutzerdefinierte Abfrage ist.
-
Connection
– Ein Option-Objekt.Die AWS Glue Verbindung zum Redshift-Cluster.
-
Schema
– Ein Option-Objekt.Der Name des Redshift-Schemas beim Arbeiten mit einer direkten Verbindung.
-
Table
– Ein Option-Objekt.Der Name der Redshift-Tabelle beim Arbeiten mit einer Direktverbindung.
-
CatalogDatabase
– Ein Option-Objekt.Der Name der AWS Glue Datenkatalogdatenbank bei der Arbeit mit einem Datenkatalog.
-
CatalogTable
– Ein Option-Objekt.Der Name der AWS Glue Datenkatalogtabelle bei der Arbeit mit einem Datenkatalog.
-
CatalogRedshiftSchema
— UTF -8 Zeichenfolge.Der Name des Redshift-Schemas bei der Arbeit mit einem Datenkatalog.
-
CatalogRedshiftTable
— UTF -8 Zeichenfolge.Die zu lesende Datenbanktabelle.
-
TempDir
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.
-
IamRole
– Ein Option-Objekt.Optional. Der Rollenname, der bei der Verbindung mit S3 verwendet wird. Wenn das IAM Feld leer gelassen wird, wird standardmäßig die Rolle im Job verwendet.
-
AdvancedOptions
– Ein Array mit AmazonRedshiftAdvancedOption-Objekten.Optionale Werte beim Herstellen einer Verbindung zum Redshift-Cluster.
-
SampleQuery
— UTF -8 Zeichenfolge.SQLWird verwendet, um die Daten aus einer Redshift-Quelle abzurufen, wenn es sich um „Abfrage“ SourceType handelt.
-
PreAction
— -8 Zeichenfolge. UTFSQLWird verwendet, bevor ein MERGE oder APPEND mit Upsert ausgeführt wird.
-
PostAction
— UTF -8 Zeichenfolge.SQLWird verwendet, bevor ein MERGE oder APPEND mit Upsert ausgeführt wird.
-
Action
— UTF -8 Zeichenfolge.Gibt an, wie in einen Redshift-Cluster geschrieben wird.
-
TablePrefix
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Gibt das Präfix für eine Tabelle an.
-
Upsert
– Boolesch.Die auf Redshift verwendete Aktion sinkt, wenn Sie eine ausführen. APPEND
-
MergeAction
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Die Aktion, die verwendet wird, um zu bestimmen, wie A MERGE in einer Redshift-Senke behandelt wird.
-
MergeWhenMatched
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Die Aktion, die verwendet wird, um zu bestimmen, wie eine MERGE in einer Redshift-Senke behandelt wird, wenn ein vorhandener Datensatz mit einem neuen Datensatz übereinstimmt.
-
MergeWhenNotMatched
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #42Die Aktion, die verwendet wird, um zu bestimmen, wie ein MERGE in einer Redshift-Senke behandelt wird, wenn ein vorhandener Datensatz nicht mit einem neuen Datensatz übereinstimmt.
-
MergeClause
— UTF -8 Zeichenfolge.SQLWird in einer benutzerdefinierten Zusammenführung verwendet, um mit übereinstimmenden Datensätzen umzugehen.
-
CrawlerConnection
— UTF -8 Zeichenfolge.Gibt den Namen der Verbindung an, die der verwendeten Katalogtabelle zugeordnet ist.
-
TableSchema
– Ein Array mit Option-Objekten.Das Array der Schemaausgabe für einen bestimmten Knoten.
-
StagingTable
— UTF -8 Zeichenfolge.Der Name der temporären Staging-Tabelle, die verwendet wird, wenn ein MERGE oder APPEND mit Upsert ausgeführt wird.
-
SelectedColumns
– Ein Array mit Option-Objekten.Die Liste der Spaltennamen, anhand derer ein passender Datensatz ermittelt wird, wenn ein MERGE oder APPEND mit Upsert ausgeführt wird.
AmazonRedshiftAdvancedOption Struktur
Gibt einen optionalen Wert an, wenn eine Verbindung zum Redshift-Cluster hergestellt wird.
Felder
-
Key
— UTF -8 Zeichenfolge.Der Schlüssel für die zusätzliche Verbindungsoption.
-
Value
— UTF -8 Zeichenfolge.Der Wert für die zusätzliche Verbindungsoption.
Optionsstruktur
Gibt einen Optionswert an.
Felder
-
Value
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt den Wert der Option an.
-
Label
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt die Bezeichnung der Option an.
-
Description
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt die Beschreibung der Option an.
S3-Struktur CatalogSource
Gibt einen Amazon S3 S3-Datenspeicher im AWS Glue Datenkatalog an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datastores.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die zu lesende Datenbanktabelle.
-
PartitionPredicate
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht. Festgelegt auf
""
– standardmäßig auf leer festgelegt. -
AdditionalOptions
– Ein S3 SourceAdditionalOptions-Objekt.Gibt zusätzliche Verbindungsoptionen an.
S3-Struktur SourceAdditionalOptions
Gibt zusätzliche Verbindungsoptionen für den Amazon S3-Datenspeicher an.
Felder
-
BoundedSize
– Zahl (lang).Legt die Obergrenze für die Zielgröße des Datensatzes, die verarbeitet werden, in Byte fest.
-
BoundedFiles
– Zahl (lang).Legt die Obergrenze für die Zielanzahl von Dateien fest, die verarbeitet werden.
CsvSource S3-Struktur
Gibt einen durch Befehle getrennten Datenspeicher mit Wert (CSV) an, der in Amazon S3 gespeichert ist.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name des Datastores.
-
Paths
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.
-
CompressionType
— UTF -8 Zeichenfolge (gültige Werte:gzip="GZIP"
|bzip2="BZIP2"
).Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind
"gzip"
und"bzip"
). -
Exclusions
— Ein Array von UTF -8 Zeichenketten.Eine Zeichenfolge, die eine JSON Liste von Glob-Mustern im UNIX-Stil enthält, die ausgeschlossen werden sollen. Beispielsweise schließt „[\" **.pdf\ "]“ alle Dateien aus. PDF
-
GroupSize
— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #43Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss
"groupFiles"
auf"inPartition"
gesetzt werden, damit dies wirksam wird. -
GroupFiles
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "“inPartition. Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf
"none"
. -
Recurse
– Boolesch.Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.
-
MaxBand
– Zahl (Ganzzahl), nicht mehr als Keine.Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand Millisekunden liegen, werden speziell dann nachverfolgt, wenn sie verwendet werden, um die eventuelle Konsistenz von Amazon S3 JobBookmarks zu gewährleisten. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten
-
MaxFilesInBand
– Zahl (Ganzzahl), nicht mehr als Keine.Diese Option gibt die maximale Anzahl von Dateien an, die in den letzten Sekunden gespeichert werden sollen. maxBand Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.
-
AdditionalOptions
– Ein S3 DirectSourceAdditionalOptions-Objekt.Gibt zusätzliche Verbindungsoptionen an.
-
Separator
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:comma="COMMA"
| |ctrla="CTRLA"
|pipe="PIPE"
semicolon="SEMICOLON"
|tab="TAB"
).Gibt das Trennzeichen an. Der Standardwert ist ein Komma: „,“, es können aber alle anderen Zeichen angegeben werden.
-
Escaper
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Gibt das Escape-Zeichen an. Diese Option wird nur beim Lesen von CSV Dateien verwendet. Der Standardwert ist
none
. Wenn diese Option aktiviert ist, wird das unmittelbar folgende Zeichen als solches verwendet, außer einer kleinen Menge bekannter Escapes (\n
,\r
,\t
und\0
). -
QuoteChar
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:quote="QUOTE"
| |quillemet="QUILLEMET"
single_quote="SINGLE_QUOTE"
|disabled="DISABLED"
).Gibt das Zeichen für Anführungszeichen an. Standardmäßig werden doppelte Anführungszeichen
'"'
verwendet. Setzen Sie dies auf-1
, um Anführungszeichen generell zu deaktivieren. -
Multiline
– Boolesch.Ein boolescher Wert, der angibt, ob ein einzelner Datensatz mehrere Zeilen umfassen kann. Dies kommt vor, wenn ein Feld ein Neue-Zeile-Zeichen in Anführungszeichen enthält. Sie müssen diese Option auf "true" setzen, wenn ein Datensatz mehrere Zeilen umfasst. Der Standardwert ist
False
. Dies ermöglicht eine rigorosere Dateiaufteilung während der Analyse. -
WithHeader
– Boolesch.Ein boolescher Wert, der angibt, ob die erste Zeile als Kopfzeile zu behandeln ist. Der Standardwert ist
False
. -
WriteHeader
– Boolesch.Ein boolescher Wert, der angibt, ob die Kopfzeile mit ausgegeben wird. Der Standardwert ist
True
. -
SkipFirst
– Boolesch.Ein boolescher Wert, der angibt, ob die erste Datenzeile übersprungen wird. Der Standardwert ist
False
. -
OptimizePerformance
– Boolesch.Ein boolescher Wert, der angibt, ob der Advanced SIMD CSV Reader zusammen mit den auf Apache Arrow basierenden spaltenbasierten Speicherformaten verwendet werden soll. Nur in AWS Glue Version 3.0 verfügbar.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die CSV S3-Quelle an.
irectJDBCSource D-Struktur
Gibt die direkte JDBC Quellverbindung an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name der JDBC Quellverbindung.
-
Database
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.Die Datenbank der JDBC Quellverbindung.
-
Table
— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #43.Die Tabelle der JDBC Quellverbindung.
-
ConnectionName
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Der Verbindungsname der JDBC Quelle.
-
ConnectionType
— Erforderlich: Zeichenfolge UTF -8 (gültige Werte:sqlserver
| |mysql
|oracle
postgresql
|redshift
).Der Verbindungstyp der JDBC Quelle.
-
RedshiftTmpDir
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Das temporäre Verzeichnis der JDBC Redshift-Quelle.
S3-Struktur DirectSourceAdditionalOptions
Gibt zusätzliche Verbindungsoptionen für den Amazon S3-Datenspeicher an.
Felder
-
BoundedSize
– Zahl (lang).Legt die Obergrenze für die Zielgröße des Datensatzes, die verarbeitet werden, in Byte fest.
-
BoundedFiles
– Zahl (lang).Legt die Obergrenze für die Zielanzahl von Dateien fest, die verarbeitet werden.
-
EnableSamplePath
– Boolesch.Legt die Option zum Aktivieren eines Beispielpfads fest.
-
SamplePath
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Wenn diese Option aktiviert ist, gibt den Beispielpfad an.
S3-Struktur JsonSource
Gibt einen in Amazon S3 gespeicherten JSON Datenspeicher an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #45Der Name des Datastores.
-
Paths
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.
-
CompressionType
— UTF -8 Zeichenfolge (gültige Werte:gzip="GZIP"
|bzip2="BZIP2"
).Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind
"gzip"
und"bzip"
). -
Exclusions
— Ein Array von UTF -8 Zeichenketten.Eine Zeichenfolge, die eine JSON Liste von Glob-Mustern im UNIX-Stil enthält, die ausgeschlossen werden sollen. Beispielsweise schließt „[\" **.pdf\ "]“ alle Dateien aus. PDF
-
GroupSize
— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #43Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss
"groupFiles"
auf"inPartition"
gesetzt werden, damit dies wirksam wird. -
GroupFiles
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "“inPartition. Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf
"none"
. -
Recurse
– Boolesch.Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.
-
MaxBand
– Zahl (Ganzzahl), nicht mehr als Keine.Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand Millisekunden liegen, werden speziell dann nachverfolgt, wenn sie verwendet werden, um die eventuelle Konsistenz von Amazon S3 JobBookmarks zu gewährleisten. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten
-
MaxFilesInBand
– Zahl (Ganzzahl), nicht mehr als Keine.Diese Option gibt die maximale Anzahl von Dateien an, die in den letzten Sekunden gespeichert werden sollen. maxBand Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.
-
AdditionalOptions
– Ein S3 DirectSourceAdditionalOptions-Objekt.Gibt zusätzliche Verbindungsoptionen an.
-
JsonPath
— Zeichenfolge UTF -8, entspricht demCustom string pattern #43.Eine JsonPath Zeichenfolge, die die JSON Daten definiert.
-
Multiline
– Boolesch.Ein boolescher Wert, der angibt, ob ein einzelner Datensatz mehrere Zeilen umfassen kann. Dies kommt vor, wenn ein Feld ein Neue-Zeile-Zeichen in Anführungszeichen enthält. Sie müssen diese Option auf "true" setzen, wenn ein Datensatz mehrere Zeilen umfasst. Der Standardwert ist
False
. Dies ermöglicht eine rigorosere Dateiaufteilung während der Analyse. -
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die JSON S3-Quelle an.
ParquetSource S3-Struktur
Gibt einen Apache-Parquet-Datenspeicher an, der in Amazon S3 gespeichert ist.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #45.Der Name des Datastores.
-
Paths
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.
-
CompressionType
— UTF -8 Zeichenfolge (gültige Werte:snappy="SNAPPY"
| | |lzo="LZO"
gzip="GZIP"
uncompressed="UNCOMPRESSED"
|none="NONE"
).Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind
"gzip"
und"bzip"
). -
Exclusions
— Ein Array von UTF -8 Zeichenketten.Eine Zeichenfolge, die eine JSON Liste von Glob-Mustern im UNIX-Stil enthält, die ausgeschlossen werden sollen. Beispielsweise schließt „[\" **.pdf\ "]“ alle Dateien aus. PDF
-
GroupSize
— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #43Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss
"groupFiles"
auf"inPartition"
gesetzt werden, damit dies wirksam wird. -
GroupFiles
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "“inPartition. Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf
"none"
. -
Recurse
– Boolesch.Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.
-
MaxBand
– Zahl (Ganzzahl), nicht mehr als Keine.Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten maxBand Millisekunden liegen, werden speziell dann nachverfolgt, wenn sie verwendet werden, um die eventuelle Konsistenz von Amazon S3 JobBookmarks zu gewährleisten. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten
-
MaxFilesInBand
– Zahl (Ganzzahl), nicht mehr als Keine.Diese Option gibt die maximale Anzahl von Dateien an, die in den letzten Sekunden gespeichert werden sollen. maxBand Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.
-
AdditionalOptions
– Ein S3 DirectSourceAdditionalOptions-Objekt.Gibt zusätzliche Verbindungsoptionen an.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die S3-Parkett-Quelle an.
DeltaSource S3-Struktur
Spezifiziert eine Delta Lake-Datenquelle, die in gespeichert ist Amazon S3.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name der Delta-Lake-Quelle.
-
Paths
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.
-
AdditionalDeltaOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen an.
-
AdditionalOptions
– Ein S3 DirectSourceAdditionalOptions-Objekt.Gibt zusätzliche Optionen für den Konnektor an.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die Delta-Lake-Quelle an.
S3-Struktur CatalogDeltaSource
Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist. Die Datenquelle muss in gespeichert werden Amazon S3.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #45.Der Name der Delta-Lake-Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
-
AdditionalDeltaOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen an.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die Delta-Lake-Quelle an.
CatalogDeltaSource Struktur
Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name der Delta-Lake-Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
-
AdditionalDeltaOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen an.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die Delta-Lake-Quelle an.
S3-Struktur HudiSource
Spezifiziert eine Hudi-Datenquelle, die in Amazon S3 gespeichert ist.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #45Der Name der Hudi-Quelle.
-
Paths
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.
-
AdditionalHudiOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen an.
-
AdditionalOptions
– Ein S3 DirectSourceAdditionalOptions-Objekt.Gibt zusätzliche Optionen für den Konnektor an.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die Hudi-Quelle an.
S3-Struktur CatalogHudiSource
Gibt eine Hudi-Datenquelle an, die im AWS Glue Datenkatalog registriert ist. Die Hudi-Datenquelle muss in gespeichert werden. Amazon S3
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #45Der Name der Hudi-Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
-
AdditionalHudiOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen an.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die Hudi-Quelle an.
CatalogHudiSource Struktur
Gibt eine Hudi-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name der Hudi-Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
-
AdditionalHudiOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen an.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die Hudi-Quelle an.
D ynamoDBCatalog Quellstruktur
Gibt eine DynamoDB-Datenquelle im Datenkatalog an AWS Glue .
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name der Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
RelationalCatalogSource Struktur
Gibt eine Datenquelle für relationale Datenbank im AWS Glue -Datenkatalog an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name der Datenquelle.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.
JDBCConnectorTargetStruktur
Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
ConnectionName
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Verbindung, die dem Konnektor zugeordnet ist.
-
ConnectionTable
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle im Datenziel.
-
ConnectorName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Einen Namen für den Konnektor, der verwendet werden wird.
-
ConnectionType
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Verbindungstyp, z. B. marketplace.jdbc oder custom.jdbc, der eine Verbindung zu einem Datenziel bezeichnet. JDBC
-
AdditionalOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von -8, die dem entspricht. UTF Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Zusätzliche Verbindungsoptionen für den Konnektor.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für das JDBC Ziel an.
SparkConnectorTarget Struktur
Gibt ein Ziel an, das einen Apache-Spark-Konnektor verwendet.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
ConnectionName
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name einer Verbindung für einen Apache-Spark-Konnektor.
-
ConnectorName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name eines Apache-Spark-Konnektors.
-
ConnectionType
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Art der Verbindung, wie marketplace.spark oder custom.spark, die eine Verbindung zu einem Apache-Spark-Datenspeicher bezeichnet.
-
AdditionalOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Zusätzliche Verbindungsoptionen für den Konnektor.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für das benutzerdefinierte Spark-Ziel an.
BasicCatalogTarget Struktur
Gibt ein Ziel an, das eine AWS Glue Datenkatalogtabelle verwendet.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name Ihres Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Die Datenbank, die die Tabelle enthält, die Sie als Ziel verwenden möchten. Diese Datenbank muss bereits im Data Catalog vorhanden sein.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Tabelle, die das Schema Ihrer Ausgabedaten definiert. Diese Tabelle muss bereits im -Data Catalog vorhanden sein.
M — ySQLCatalog Zielstruktur
Gibt ein Ziel an, das My verwendetSQL.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
P — ostgreSQLCatalog Zielstruktur
Gibt ein Ziel an, das Postgres SQL verwendet.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
O racleSQLCatalog Zielstruktur
Gibt ein Ziel an, das Oracle verwendetSQL.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
M-Struktur icrosoftSQLServer CatalogTarget
Gibt ein Ziel an, das Microsoft verwendetSQL.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
RedshiftTarget Struktur
Gibt ein Ziel an, das Amazon Redshift verwendet.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
-
RedshiftTmpDir
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.
-
TmpDirIAMRole
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die IAM Rolle mit Berechtigungen.
-
UpsertRedshiftOptions
– Ein UpsertRedshiftTargetOptions-Objekt.Die Reihe von Optionen zum Konfigurieren einer Upsert-Operation beim Schreiben in ein Redshift-Ziel.
AmazonRedshiftTarget Struktur
Gibt ein Amazon-Redshift-Ziel an.
Felder
-
Name
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Amazon-Redshift-Ziels.
-
Data
– Ein AmazonRedshiftNodeData-Objekt.Gibt die Daten des Amazon-Redshift-Zielknotens an.
-
Inputs
— Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
UpsertRedshiftTargetOptions Struktur
Die Optionen zum Konfigurieren einer Upsert-Operation beim Schreiben in ein Redshift-Ziel.
Felder
-
TableLocation
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Der physische Standort der Redshift-Tabelle.
-
ConnectionName
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Verbindung, die zum Schreiben in Redshift verwendet werden soll.
-
UpsertKeys
— Ein Array von UTF -8 Zeichenketten.Die Schlüssel, mit denen festgestellt wird, ob eine Aktualisierung oder ein Einfügen durchgeführt werden soll.
S3-Struktur CatalogTarget
Gibt ein Datenziel an, das mithilfe des AWS Glue Datenkatalogs in Amazon S3 schreibt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
PartitionKeys
— Ein Array von UTF -8 Zeichenketten.Gibt die native Partitionierung mit einer Schlüsselfolge an.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
SchemaChangePolicy
– Ein CatalogSchemaChangePolicy-Objekt.Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
S3-Struktur GlueParquetTarget
Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
PartitionKeys
— Ein Array von UTF -8 Zeichenketten.Gibt die native Partitionierung mit einer Schlüsselfolge an.
-
Path
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Ein einziger Amazon S3-Pfad, in den geschrieben wird.
-
Compression
— UTF -8 Zeichenfolge (gültige Werte:snappy="SNAPPY"
| | |lzo="LZO"
gzip="GZIP"
uncompressed="UNCOMPRESSED"
|none="NONE"
).Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind
"gzip"
und"bzip"
). -
SchemaChangePolicy
– Ein DirectSchemaChangePolicy-Objekt.Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
CatalogSchemaChangePolicy Struktur
Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
Felder
-
EnableUpdateCatalog
– Boolesch.Ob das Aktualisierungsverhalten verwendet werden soll, wenn der Crawler ein geändertes Schema findet.
-
UpdateBehavior
— UTF -8 Zeichenfolge (gültige Werte:UPDATE_IN_DATABASE
|LOG
).Das Aktualisierungsverhalten, wenn der Crawler ein geändertes Schema findet.
S3-Struktur DirectTarget
Gibt ein Datenziel an, das an Amazon S3 schreibt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
PartitionKeys
— Ein Array von UTF -8 Zeichenketten.Gibt die native Partitionierung mit einer Schlüsselfolge an.
-
Path
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Ein einziger Amazon S3-Pfad, in den geschrieben wird.
-
Compression
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind
"gzip"
und"bzip"
). -
Format
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:json="JSON"
| |csv="CSV"
|avro="AVRO"
| |orc="ORC"
parquet="PARQUET"
hudi="HUDI"
|delta="DELTA"
).Gibt das Datenausgabeformat für das Ziel an.
-
SchemaChangePolicy
– Ein DirectSchemaChangePolicy-Objekt.Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
S3-Struktur HudiCatalogTarget
Gibt ein Ziel an, das in eine Hudi-Datenquelle im AWS Glue Datenkatalog schreibt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
PartitionKeys
— Ein Array von UTF -8 Zeichenketten.Gibt die native Partitionierung mit einer Schlüsselfolge an.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
AdditionalOptions
– Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen für den Konnektor an.
-
SchemaChangePolicy
– Ein CatalogSchemaChangePolicy-Objekt.Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
S3-Struktur HudiDirectTarget
Gibt ein Ziel an, das in eine Hudi-Datenquelle in Amazon S3 schreibt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
Path
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Amazon-S3-Pfad Ihrer Hudi-Datenquelle, in die geschrieben werden soll.
-
Compression
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:gzip="GZIP"
| |lzo="LZO"
uncompressed="UNCOMPRESSED"
|snappy="SNAPPY"
).Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind
"gzip"
und"bzip"
). -
PartitionKeys
— Ein Array von UTF -8 Zeichenketten.Gibt die native Partitionierung mit einer Schlüsselfolge an.
-
Format
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:json="JSON"
| |csv="CSV"
|avro="AVRO"
| |orc="ORC"
parquet="PARQUET"
hudi="HUDI"
|delta="DELTA"
).Gibt das Datenausgabeformat für das Ziel an.
-
AdditionalOptions
– Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen für den Konnektor an.
-
SchemaChangePolicy
– Ein DirectSchemaChangePolicy-Objekt.Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
S3-Struktur DeltaCatalogTarget
Gibt ein Ziel an, das in eine Delta Lake-Datenquelle im AWS Glue Datenkatalog schreibt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
PartitionKeys
— Ein Array von UTF -8 Zeichenketten.Gibt die native Partitionierung mit einer Schlüsselfolge an.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
AdditionalOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen für den Konnektor an.
-
SchemaChangePolicy
– Ein CatalogSchemaChangePolicy-Objekt.Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
S3-Struktur DeltaDirectTarget
Gibt ein Ziel an, das in eine Delta Lake-Datenquelle in schreibt Amazon S3.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
PartitionKeys
— Ein Array von UTF -8 Zeichenketten.Gibt die native Partitionierung mit einer Schlüsselfolge an.
-
Path
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Amazon-S3-Pfad Ihrer Delta-Lake-Datenquelle, in die geschrieben werden soll.
-
Compression
— Erforderlich: Zeichenfolge UTF -8 (gültige Werte:uncompressed="UNCOMPRESSED"
|snappy="SNAPPY"
).Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind
"gzip"
und"bzip"
). -
Format
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:json="JSON"
| |csv="CSV"
|avro="AVRO"
| |orc="ORC"
parquet="PARQUET"
hudi="HUDI"
|delta="DELTA"
).Gibt das Datenausgabeformat für das Ziel an.
-
AdditionalOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Verbindungsoptionen für den Konnektor an.
-
SchemaChangePolicy
– Ein DirectSchemaChangePolicy-Objekt.Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
DirectSchemaChangePolicy Struktur
Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.
Felder
-
EnableUpdateCatalog
– Boolesch.Ob das Aktualisierungsverhalten verwendet werden soll, wenn der Crawler ein geändertes Schema findet.
-
UpdateBehavior
— UTF -8 Zeichenfolge (gültige Werte:UPDATE_IN_DATABASE
|LOG
).Das Aktualisierungsverhalten, wenn der Crawler ein geändertes Schema findet.
-
Table
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Gibt die Tabelle in der Datenbank an, für die die Schemaänderungsrichtlinie gilt.
-
Database
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt die Datenbank an, für die die Schemaänderungsrichtlinie gilt.
ApplyMapping Struktur
Gibt eine Transformation an, die Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel zuordnet. Sie können Schlüssel umbenennen, die Datentypen für Schlüssel ändern und die Schlüssel auswählen, die aus dem Datensatz gelöscht werden sollen.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Mapping
– Erforderlich: Ein Array mit Mapping-Objekten.Gibt die Zuordnung der Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel an.
Mapping-Struktur
Gibt die Zuordnung von Dateneigenschaftsschlüsseln an.
Felder
-
ToKey
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Was der Name der Spalte nach dem Apply-Mapping sein soll. Kann gleich sein wie
FromPath
. -
FromPath
— Ein Array von UTF -8 Zeichenketten.Die Tabelle oder Spalte, die geändert werden soll.
-
FromType
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Typ der zu ändernden Daten.
-
ToType
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Datentyp, zu dem die Daten geändert werden sollen.
-
Dropped
– Boolesch.Wenn „true“, wird die Spalte entfernt.
-
Children
– Ein Array mit Mapping-Objekten.Gilt nur für verschachtelte Datenstrukturen. Wenn Sie die übergeordnete Struktur, aber auch eines ihrer untergeordneten Elemente ändern möchten, können Sie diese Datenstruktur ausfüllen. Es ist ebenfalls
Mapping
, aber seinFromPath
wird der übergeordneteFromPath
mit demFromPath
aus dieser Struktur an.Nehmen wir für den untergeordneten Teil an, Sie haben die Struktur:
{ "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }
Sie können ein
Mapping
angeben, das wie folgt aussieht:{ "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }
SelectFields Struktur
Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie beibehalten möchten.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Paths
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Ein JSON Pfad zu einer Variablen in der Datenstruktur.
DropFields Struktur
Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie löschen möchten.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Paths
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Ein JSON Pfad zu einer Variablen in der Datenstruktur.
RenameField Struktur
Gibt eine Transformation an, die einen einzelnen Dateneigenschaftsschlüssel umbenennt.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
SourcePath
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Ein JSON Pfad zu einer Variablen in der Datenstruktur für die Quelldaten.
-
TargetPath
— Erforderlich: Ein Array mit UTF -8 Zeichenketten.Ein JSON Pfad zu einer Variablen in der Datenstruktur für die Zieldaten.
Spigot-Struktur
Gibt eine Transformation an, die Beispiele der Daten in einen Amazon S3-Bucket schreibt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Path
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Ein Pfad in Amazon S3, in dem die Transformation eine Teilmenge von Datensätzen aus dem Datensatz in eine JSON Datei in einem Amazon S3 S3-Bucket schreibt.
-
Topk
– Zahl (Ganzzahl), nicht mehr als 100.Gibt eine Reihe von Datensätzen an, die ab dem Anfang des Datensatzes geschrieben werden sollen.
-
Prob
– Zahl (Double), nicht mehr als 1.Die Wahrscheinlichkeit (ein Dezimalwert mit einem Höchstwert von 1), einen bestimmten Datensatz auszuwählen. Der Wert 1 gibt an, dass jede aus dem Datensatz gelesene Zeile in die Beispielausgabe aufgenommen werden sollte.
Join-Struktur
Gibt eine Transformation an, die zwei Datensätze mit einer Vergleichsphrase für die angegebenen Dateneigenschaftsschlüssel zu einem Datensatz zusammenführt. Sie können innere, äußere, linke, rechte, linke Hälfte und linke Anti-Joins verwenden.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
JoinType
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:equijoin="EQUIJOIN"
| |left="LEFT"
| |right="RIGHT"
outer="OUTER"
leftsemi="LEFT_SEMI"
|leftanti="LEFT_ANTI"
).Gibt den Typ des Join an, der für die Datensätze ausgeführt werden soll.
-
Columns
– Erforderlich: Ein Array mit JoinColumn-Objekten, nicht weniger als 2 und nicht mehr als 2 Strukturen.Eine Liste der beiden zu verbindenden Spalten.
JoinColumn Struktur
Gibt eine Spalte an, die verbunden werden soll.
Felder
-
From
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Die Spalte, die verbunden werden soll.
-
Keys
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Der Schlüssel der zu verbindenden Spalte.
SplitFields Struktur
Gibt eine Transformation an, die Dateneigenschaftsschlüssel in zwei teDynamicFrames
aufteilt. Die Ausgabe ist eine Sammlung von DynamicFrames
: Einer mit ausgewählten Dateneigenschaftsschlüsseln und einer mit den übrigen Dateneigenschaftsschlüsseln.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Paths
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Ein JSON Pfad zu einer Variablen in der Datenstruktur.
SelectFromCollection Struktur
Gibt eine Transformation an, die einen DynamicFrame
aus einer Reihe von DynamicFrames
auswählt. Die Ausgabe ist das ausgewählte DynamicFrame
.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Index
– Erforderlich: Zahl (Ganzzahl), nicht mehr als Keine.Der Index für den DynamicFrame , der ausgewählt werden soll.
FillMissingValues Struktur
Gibt eine Transformation an, bei der Akten im Datensatz gesucht werden können, die fehlende Werte aufweisen, und die ein neues Feld mit einem durch Imputation bestimmten Wert hinzufügt. Mit dem Eingabedatensatz wird das Modell zum Machine Learning (ML) trainiert, das den fehlenden Wert bestimmt.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
ImputedPath
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Ein JSON Pfad zu einer Variablen in der Datenstruktur für den imputierten Datensatz.
-
FilledPath
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Ein JSON Pfad zu einer Variablen in der Datenstruktur für den Datensatz, der gefüllt ist.
Filter-Struktur
Gibt eine Transformation an, die einen Datensatz basierend auf einer Filterbedingung in zwei Teile teilt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
LogicalOperator
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:AND
|OR
).Der Operator, der verwendet wurde, um Zeilen zu filtern, indem er den Schlüsselwert mit einem bestimmten Wert vergleicht.
-
Filters
– Erforderlich: Ein Array mit FilterExpression-Objekten.Gibt einen Filterausdruck an.
FilterExpression Struktur
Gibt einen Filterausdruck an.
Felder
-
Operation
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:EQ
|LT
|GT
| |LTE
|GTE
REGEX
|ISNULL
).Der Typ des Vorgangs, der im Ausdruck ausgeführt werden soll.
-
Negated
– Boolesch.Ob der Ausdruck negiert werden soll.
-
Values
– Erforderlich: Ein Array mit FilterValue-Objekten.Eine Liste von Filterwerten.
FilterValue Struktur
Stellt einen einzelnen Eintrag in der Liste von Werten für ein FilterExpression
dar.
Felder
-
Type
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:COLUMNEXTRACTED
|CONSTANT
).Der Typ des Filterwerts.
-
Value
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Der Wert, der zugeordnet werden soll.
CustomCode Struktur
Gibt eine Transformation an, die benutzerdefinierten Code verwendet, den Sie zur Durchführung der Datentransformation bereitstellen. Die Ausgabe ist eine Sammlung von DynamicFrames.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, mindestens 1 Zeichenfolge.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Code
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #36Der benutzerdefinierte Code, der zur Durchführung der Datentransformation verwendet wird.
-
ClassName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name, der für die benutzerdefinierte Code-Knotenklasse definiert wurde.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die benutzerdefinierte Codetransformation an.
Spark-Struktur SQL
Gibt eine Transformation an, bei der Sie eine SQL Abfrage mithilfe der SQL Spark-Syntax eingeben, um die Daten zu transformieren. Die Ausgabe ist ein einzelner DynamicFrame
.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, mindestens 1 Zeichenfolge.Die durch ihre Knotennamen identifizierten Dateneingaben. Sie können jedem Eingabeknoten, der in der SQL Abfrage verwendet werden soll, einen Tabellennamen zuordnen. Der von Ihnen gewählte Name muss den SQL Spark-Benennungsbeschränkungen entsprechen.
-
SqlQuery
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #44.Eine SQL Abfrage, die die SQL Spark-Syntax verwenden und einen einzelnen Datensatz zurückgeben muss.
-
SqlAliases
– Erforderlich: Ein Array mit SqlAlias-Objekten.Eine Liste von Aliasen. Mit einem Alias können Sie angeben, welcher Name SQL für eine bestimmte Eingabe verwendet werden soll. Sie haben beispielsweise eine Datenquelle mit dem Namen "“MyDataSource. Wenn Sie as und
From
Alias
as SqlName angeben MyDataSource, können SQL Sie in Ihrem Folgendes tun:select * from SqlName
und das bezieht Daten von MyDataSource.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die SQL Spark-Transformation an.
SqlAlias Struktur
Stellt einen einzelnen Eintrag in der Liste von Werten für SqlAliases
dar.
Felder
-
From
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #42.Eine Tabelle oder eine Spalte in einer Tabelle.
-
Alias
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Ein temporärer Name, der einer Tabelle oder einer Spalte in einer Tabelle gegeben wird.
DropNullFields Struktur
Gibt eine Transformation an, die Spalten aus dem Datensatz entfernt, wenn alle Werte in der Spalte „null“ sind. Standardmäßig erkennt AWS Glue Studio Null-Objekte, aber einige Werte wie leere Zeichenketten, Zeichenketten, die „Null“ sind, Ganzzahlen von -1 oder andere Platzhalter wie Nullen, werden nicht automatisch als Nullen erkannt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht dem. Custom string pattern #45Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
NullCheckBoxList
– Ein NullCheckBoxList-Objekt.Eine Struktur, die angibt, ob bestimmte Werte als zu entfernende Nullwerte erkannt werden.
-
NullTextList
– Ein Array mit NullValueField-Objekten, nicht mehr als 50 Strukturen.Eine Struktur, die eine Liste von NullValueField Strukturen angibt, die einen benutzerdefinierten Nullwert darstellen, z. B. Null oder einen anderen Wert, der als Null-Platzhalter verwendet wird, der nur für den Datensatz gilt.
Die
DropNullFields
-Transformation entfernt benutzerdefinierte Nullwerte nur, wenn sowohl der Wert des Nullplatzhalters als auch der Datentyp mit den Daten übereinstimmen.
NullCheckBoxList Struktur
Gibt an, ob bestimmte Werte als zu entfernende Nullwerte erkannt werden.
Felder
-
IsEmpty
– Boolesch.Gibt an, dass eine leere Zeichenfolge als Nullwert angesehen wird.
-
IsNullString
– Boolesch.Gibt an, dass ein Wert, der das Wort 'null' ausgibt, als Nullwert betrachtet wird.
-
IsNegOne
– Boolesch.Gibt an, dass ein Ganzzahlwert von -1 als Nullwert angesehen wird.
NullValueField Struktur
Stellt einen benutzerdefinierten Nullwert wie Null oder einen anderen Wert dar, der als für den Datensatz eindeutigen Null-Platzhalter verwendet wird.
Felder
-
Value
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Der Wert des Null-Platzhalters.
-
Datatype
– Erforderlich: Ein Datatype-Objekt.Der Datentyp des Wertes.
Datatype-Struktur
Eine Struktur, die den Datentyp des Wertes darstellt.
Felder
-
Id
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Der Datentyp des Wertes.
-
Label
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Ein Label, das dem Datentyp zugewiesen ist.
Merge-Struktur
Gibt eine Transformation an, die ein DynamicFrame
mit einem Staging-DynamicFrame
basierend auf den angegebenen Primärschlüsseln zusammenführt, um Datensätze zu identifizieren. Doppelte Datensätze (Datensätze mit denselben Primärschlüsseln) werden nicht dedupliziert.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #45Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Source
— Erforderlich: UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #42Der
DynamicFrame
der Quelle, der mit einem Staging-DynamicFrame
zusammengeführt werden wird. -
PrimaryKeys
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Die Liste der Primärschlüsselfelder, die Datensätze aus den Quell- und dynamischen Staging-Frames abgleichen.
Union-Struktur
Gibt eine Transformation an, die die Zeilen aus zwei oder mehr Datensätzen zu einem einzigen Ergebnis kombiniert.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #45Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.Die Knoten-ID gibt die Transformation ein.
-
UnionType
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:ALL
|DISTINCT
).Gibt den Typ der Union-Transformation an.
Geben Sie
ALL
an, dass alle Zeilen aus Datenquellen mit dem Ergebnis DynamicFrame verknüpft werden sollen. Die resultierende Verbindung entfernt keine doppelten Zeilen.Geben Sie
DISTINCT
an, ob doppelte Zeilen im Ergebnis entfernt werden sollen DynamicFrame.
PIIDetectionStruktur
Gibt eine Transformation an, die PII Daten identifiziert, entfernt oder maskiert.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten-ID gibt die Transformation ein.
-
PiiType
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:RowAudit
| |RowMasking
ColumnAudit
|ColumnMasking
).Gibt den Typ der PIIDetection Transformation an.
-
EntityTypesToDetect
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Gibt die Typen von Entitäten an, die die PIIDetection Transformation als PII Daten identifizieren wird.
PIIZu den Typentitäten gehören: PERSON USA _ NAMEDATE,SNN, USA _EMAIL, _ITIN, USA PASSPORT _NUMBER, PHONE _NUMBER, BANK _ACCOUNT, IP_ADDRESS, _, MAC _ADDRESS, USA CPT _CODE, _ USA _CODE, HCPCS _ USA _, NATIONAL _ DRUG _ USA _CODE, MEDICARE _ BENEFICIARY _ _IDENTIFIER, USA HEALTH _ INSURANCE _NUMBER, CLAIM _ CREDIT _CARD, USA _ NATIONAL_ PROVIDER _IDENTIFIER, USA _ DEA _NUMBER, USA _ _ DRIVING LICENSE
-
OutputColumnName
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Gibt den Namen der Ausgabespalte an, der jeden in dieser Zeile erkannten Entitätstyp enthält.
-
SampleFraction
– Zahl (Double), nicht mehr als 1.Gibt den Bruchteil der Daten an, der beim Scannen nach PII Objekten abgetastet werden soll.
-
ThresholdFraction
– Zahl (Double), nicht mehr als 1.Gibt den Bruchteil der Daten an, der erfüllt sein muss, damit eine Spalte als PII Daten identifiziert werden kann.
-
MaskValue
— UTF -8 Zeichenfolge, nicht mehr als 256 Byte lang, entspricht. Custom string pattern #40Gibt den Wert an, der die erkannte Entität ersetzt.
Aggregierte Struktur
Gibt eine Transformation an, die Zeilen nach ausgewählten Feldern gruppiert und den aggregierten Wert nach der angegebenen Funktion berechnet.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #45Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Gibt die Felder und Zeilen an, die als Eingaben für die Aggregat-Transformation verwendet werden sollen.
-
Groups
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Gibt die Felder an, nach denen gruppiert werden sollen.
-
Aggs
– Erforderlich: Ein Array mit AggregateOperation-Objekten, nicht weniger als 1 und nicht mehr als 30 Strukturen.Gibt die Aggregatfunktionen an, die für bestimmte Felder ausgeführt werden sollen.
DropDuplicates Struktur
Gibt eine Transformation an, die Zeilen mit sich wiederholenden Daten aus einem Datensatz entfernt.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Transform-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die durch ihre Knotennamen identifizierten Dateneingaben.
-
Columns
— Ein Array von UTF -8 Zeichenketten.Der Name der Spalten, die bei Wiederholung zusammengeführt oder entfernt werden sollen.
GovernedCatalogTarget Struktur
Gibt ein Datenziel an, das mithilfe des AWS Glue Datenkatalogs in Amazon S3 schreibt.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datenziels.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
-
PartitionKeys
— Ein Array von UTF -8 Zeichenketten.Gibt die native Partitionierung mit einer Schlüsselfolge an.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht. Custom string pattern #43Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Der Name der Datenbank, in die geschrieben wird.
-
SchemaChangePolicy
– Ein CatalogSchemaChangePolicy-Objekt.Eine Richtlinie, die das Aktualisierungsverhalten für den verwalteten Katalog festlegt.
GovernedCatalogSource Struktur
Gibt den Datenspeicher im verwalteten AWS Glue Datenkatalog an.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des Datastores.
-
Database
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die Datenbank, aus der gelesen werden soll.
-
Table
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Die zu lesende Datenbanktabelle.
-
PartitionPredicate
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht. Festgelegt auf
""
– standardmäßig auf leer festgelegt. -
AdditionalOptions
– Ein S3 SourceAdditionalOptions-Objekt.Gibt zusätzliche Verbindungsoptionen an.
AggregateOperation Struktur
Gibt den Parametersatz an, der zum Ausführen der Aggregation in der Aggregations-Transformation erforderlich ist.
Felder
-
Column
— Erforderlich: Ein Array von UTF -8 Zeichenketten.Gibt die Spalte im Datensatz an, auf die die Aggregationsfunktion angewendet wird.
-
AggFunc
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:avg
| |countDistinct
|count
|first
|last
| |kurtosis
|max
|min
|skewness
|stddev_samp
|stddev_pop
| |sum
sumDistinct
var_samp
|var_pop
).Gibt die Aggregationsfunktion an, die angewendet werden soll.
Zu den möglichen Aggregationsfunktionen gehören: avgcountDistinct, count, first, last, kurtosis, max, min, skewness, stddev_samp, stddev_pop, sum, var_samp, var_pop sumDistinct
GlueSchema Struktur
Gibt ein benutzerdefiniertes Schema an, wenn ein Schema nicht durch AWS Glue bestimmt werden kann.
Felder
-
Columns
– Ein Array mit GlueStudioSchemaColumn-Objekten.Gibt die Spaltendefinitionen an, aus denen ein AWS Glue Schema besteht.
GlueStudioSchemaColumn Struktur
Gibt eine einzelne Spalte in einer AWS Glue Schemadefinition an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, nicht mehr als 1024 Byte lang, entspricht. Single-line string patternDer Name der Spalte im AWS Glue Studio-Schema.
-
Type
— UTF -8 Zeichenfolge, nicht mehr als 131072 Byte lang, entspricht. Single-line string patternDer Strukturtyp für diese Spalte im Studio-Schema. AWS Glue
GlueStudioColumn Struktur
Gibt eine einzelne Spalte in AWS Glue Studio an.
Felder
-
Key
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #43.Der Schlüssel der Spalte in AWS Glue Studio.
-
FullPath
— Erforderlich: Ein Array von UTF -8 Zeichenketten.TThevoll URL von der Kolumne in AWS Glue Studio.
-
Type
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:array="ARRAY"
|bigint="BIGINT"
|bigint array="BIGINT_ARRAY"
|binary="BINARY"
|binary array="BINARY_ARRAY"
| |boolean="BOOLEAN"
|boolean array="BOOLEAN_ARRAY"
|byte="BYTE"
|byte array="BYTE_ARRAY"
|char="CHAR"
|char array="CHAR_ARRAY"
|choice="CHOICE"
|choice array="CHOICE_ARRAY"
|date="DATE"
|date array="DATE_ARRAY"
|decimal="DECIMAL"
| |decimal array="DECIMAL_ARRAY"
|double="DOUBLE"
|double array="DOUBLE_ARRAY"
|enum="ENUM"
|enum array="ENUM_ARRAY"
|float="FLOAT"
|float array="FLOAT_ARRAY"
|int="INT"
|int array="INT_ARRAY"
|interval="INTERVAL"
| |interval array="INTERVAL_ARRAY"
|long="LONG"
|long array="LONG_ARRAY"
|object="OBJECT"
|short="SHORT"
|short array="SHORT_ARRAY"
smallint="SMALLINT"
| |smallint array="SMALLINT_ARRAY"
|string="STRING"
|string array="STRING_ARRAY"
| |timestamp="TIMESTAMP"
|timestamp array="TIMESTAMP_ARRAY"
| |tinyint="TINYINT"
|tinyint array="TINYINT_ARRAY"
|varchar="VARCHAR"
| |varchar array="VARCHAR_ARRAY"
|null="NULL"
|unknown="UNKNOWN"
|unknown array="UNKNOWN_ARRAY"
).TTheTyp der Spalte in AWS Glue Studio.
-
Children
– Eine Reihe von Strukturen.TTheuntergeordnete Elemente der übergeordneten Spalte in AWS Glue Studio.
DynamicTransform Struktur
Gibt den Parametersatz an, der zum Ausführen der dynamischen Transformation erforderlich ist.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Gibt den Namen der dynamischen Transformation an.
-
TransformName
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt den Namen der dynamischen Transformation an, so wie er im Visual Editor von AWS Glue Studio angezeigt wird.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenfolgen, nicht weniger als 1 oder mehr als 1 Zeichenketten.Gibt die erforderlichen Eingaben für die dynamische Transformation an.
-
Parameters
– Ein Array mit TransformConfigParameter-Objekten.Gibt die Parameter der dynamischen Transformation an.
-
FunctionName
— Erforderlich: UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Gibt den Namen der Funktion der dynamischen Transformation an.
-
Path
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt den Pfad der Quell- und Konfigurationsdateien der dynamischen Transformation an.
-
Version
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Dieses Feld wird nicht verwendet und wird in zukünftigen Versionen veraltet sein.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für die dynamische Transformation an.
TransformConfigParameter Struktur
Gibt die Parameter in der Konfigurationsdatei der dynamischen Transformation an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #43.Gibt den Namen des Parameters in der Konfigurationsdatei der dynamischen Transformation an.
-
Type
— Erforderlich: UTF -8 Zeichenfolge (gültige Werte:str="STR"
| |int="INT"
|float="FLOAT"
| |complex="COMPLEX"
bool="BOOL"
list="LIST"
|null="NULL"
).Gibt den Parametertyp in der Konfigurationsdatei der dynamischen Transformation an.
-
ValidationRule
— UTF -8 Zeichenfolge, entspricht dem. Custom string pattern #43Gibt die Validierungsregel in der Konfigurationsdatei der dynamischen Transformation an.
-
ValidationMessage
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Gibt die Validierungsnachricht in der Konfigurationsdatei der dynamischen Transformation an.
-
Value
— Ein Array von UTF -8 Zeichenketten.Gibt den Wert des Parameters in der Konfigurationsdatei der dynamischen Transformation an.
-
ListType
— UTF -8 Zeichenfolge (gültige Werte:str="STR"
| |int="INT"
| |float="FLOAT"
|complex="COMPLEX"
bool="BOOL"
list="LIST"
|null="NULL"
).Gibt den Listentyp des Parameters in der Konfigurationsdatei der dynamischen Transformation an.
-
IsOptional
– Boolesch.Gibt an, ob der Parameter in der Konfigurationsdatei der dynamischen Transformation optional ist oder nicht.
EvaluateDataQuality Struktur
Gibt Ihre Auswertungskriterien für die Datenqualität an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name der Datenqualitätsbewertung.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Eingaben Ihrer Datenqualitätsbewertung.
-
Ruleset
— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 65536 Byte lang, entspricht. Custom string pattern #41Der Regelsatz für Ihre Bewertung der Datenqualität.
-
Output
— Zeichenfolge UTF -8 (gültige Werte: |).PrimaryInput
EvaluationResults
Das Ergebnis Ihrer Datenqualitätsbewertung.
-
PublishingOptions
– Ein DQResultsPublishingOptions-Objekt.Optionen zum Konfigurieren der Veröffentlichung Ihrer Ergebnisse.
-
StopJobOnFailureOptions
– Ein DQStopJobOnFailureOptions-Objekt.Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.
DQResultsPublishingOptionsStruktur
Optionen zum Konfigurieren der Veröffentlichung der Ergebnisse Ihrer Datenqualitätsauswertung.
Felder
-
EvaluationContext
— UTF -8 Zeichenfolge, entspricht derCustom string pattern #42.Der Kontext der Bewertung.
-
ResultsS3Prefix
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Das Amazon-S3-Präfix wurde den Ergebnissen vorangestellt.
-
CloudWatchMetricsEnabled
– Boolesch.Aktivieren Sie Metriken für Ihre Datenqualitätsergebnisse.
-
ResultsPublishingEnabled
– Boolesch.Aktivieren Sie die Veröffentlichung Ihrer Datenqualitätsergebnisse.
DQStopJobOnFailureOptionsStruktur
Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.
Felder
-
StopJobOnFailureTiming
— UTF -8 Zeichenfolge (gültige Werte:Immediate
|AfterDataLoad
).Wann Sie den Auftrag anhalten sollten, wenn Ihre Datenqualitätsbewertung fehlschlägt. Die Optionen sind Sofort oder AfterDataLoad.
EvaluateDataQualityMultiFrame Struktur
Gibt Ihre Auswertungskriterien für die Datenqualität an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name der Datenqualitätsbewertung.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenketten, mindestens 1 Zeichenfolge.Die Eingaben Ihrer Datenqualitätsbewertung. Die erste Eingabe in dieser Liste ist die primäre Datenquelle.
-
AdditionalDataSources
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #45
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Die Aliase aller Datenquellen mit Ausnahme der primären.
-
Ruleset
— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 65536 Byte lang, entspricht. Custom string pattern #41Der Regelsatz für Ihre Bewertung der Datenqualität.
-
PublishingOptions
– Ein DQResultsPublishingOptions-Objekt.Optionen zum Konfigurieren der Veröffentlichung Ihrer Ergebnisse.
-
AdditionalOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge mit UTF -8 (gültige Werte: |).
performanceTuning.caching="CacheOption"
observations.scope="ObservationsOption"
Jeder Wert ist eine Zeichenfolge mit UTF -8.
Optionen zum Konfigurieren des Laufzeitverhaltens der Transformation.
-
StopJobOnFailureOptions
– Ein DQStopJobOnFailureOptions-Objekt.Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.
Struktur des Rezepts
Ein AWS Glue Studio-Knoten, der ein AWS Glue DataBrew Rezept in AWS Glue Jobs verwendet.
Felder
-
Name
— Erforderlich: Zeichenfolge UTF -8, entspricht demCustom string pattern #45.Der Name des AWS Glue Studio-Knotens.
-
Inputs
— Erforderlich: Ein Array von UTF -8 Zeichenfolgen, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für den Rezeptknoten sind, identifiziert durch die ID.
-
RecipeReference
– Ein RecipeReference-Objekt.Ein Verweis auf das vom Knoten verwendete DataBrew Rezept.
-
RecipeSteps
– Ein Array mit RecipeStep-Objekten.Transformationsschritte, die im Rezeptknoten verwendet werden.
RecipeReference Struktur
Ein Verweis auf ein AWS Glue DataBrew Rezept.
Felder
-
RecipeArn
— Erforderlich: Zeichenfolge UTF -8, entspricht derCustom string pattern #43.Das ARN des DataBrew Rezepts.
-
RecipeVersion
— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 16 Byte lang.Das RecipeVersion des DataBrew Rezepts.
SnowflakeNodeData Struktur
Gibt die Konfiguration für Snowflake-Knoten in Studio an AWS Glue .
Felder
-
SourceType
— Zeichenfolge UTF -8, entspricht dem. Custom string pattern #42Gibt an, wie abgerufene Daten angegeben werden. Zulässige Werte:
"table"
,"query"
. -
Connection
– Ein Option-Objekt.Gibt eine AWS Glue Datenkatalogverbindung zu einem Snowflake-Endpunkt an.
-
Schema
— UTF -8 Zeichenfolge.Gibt ein Snowflake-Datenbankschema an, das Ihr Knoten verwenden soll.
-
Table
— UTF -8 Zeichenfolge.Gibt eine Snowflake-Tabelle an, die Ihr Knoten verwenden soll.
-
Database
— UTF -8 Zeichenfolge.Gibt eine Snowflake-Datenbank an, die Ihr Knoten verwenden soll.
-
TempDir
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Derzeit nicht verwendet.
-
IamRole
– Ein Option-Objekt.Derzeit nicht verwendet.
-
AdditionalOptions
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die dem entspricht. Custom string pattern #43
Jeder Wert ist eine UTF -8-Zeichenfolge, die dem entspricht. Custom string pattern #43
Gibt zusätzliche Optionen an, die an den Snowflake-Konnektor übergeben werden. Wenn an anderer Stelle in diesem Knoten Optionen angegeben werden, hat dies Vorrang.
-
SampleQuery
— UTF -8 Zeichenfolge.Eine SQL Zeichenfolge, die zum Abrufen von Daten mit dem
query
Quelltyp verwendet wird. -
PreAction
— UTF -8 Zeichenfolge.Eine SQL Zeichenfolge, die ausgeführt wird, bevor der Snowflake-Connector seine Standardaktionen ausführt.
-
PostAction
— UTF -8 Zeichenfolge.Eine SQL Zeichenfolge, die ausgeführt wird, nachdem der Snowflake-Konnektor seine Standardaktionen ausgeführt hat.
-
Action
— UTF -8 Zeichenfolge.Gibt an, welche Aktion beim Schreiben in eine Tabelle mit bereits vorhandenen Daten ausgeführt werden soll. Zulässige Werte:
append
,merge
,truncate
,drop
. -
Upsert
– Boolesch.Wird verwendet, wenn die Aktion
append
ist. Gibt das Auflösungsverhalten an, wenn bereits eine Zeile vorhanden ist. Wenn der Wert wahr ist, werden bereits vorhandene Zeilen aktualisiert. Wenn der Wert falsch ist, werden diese Zeilen eingefügt. -
MergeAction
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Gibt eine Zusammenführungsaktion an. Zulässige Werte:
simple
,custom
. Wenn das Zusammenführungsverhalten einfach ist, wird es durchMergeWhenMatched
undMergeWhenNotMatched
definiert. Falls benutzerdefiniert, durchMergeClause
definiert. -
MergeWhenMatched
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Gibt an, wie Datensätze, die mit bereits vorhandenen Daten übereinstimmen, beim Zusammenführen aufgelöst werden. Zulässige Werte:
update
,delete
. -
MergeWhenNotMatched
— UTF -8 Zeichenfolge, entspricht der. Custom string pattern #42Gibt an, wie Datensätze, die nicht mit bereits vorhandenen Daten übereinstimmen, beim Zusammenführen verarbeitet werden. Zulässige Werte:
insert
,none
. -
MergeClause
— UTF -8 Zeichenfolge.Eine SQL Anweisung, die ein benutzerdefiniertes Zusammenführungsverhalten spezifiziert.
-
StagingTable
— UTF -8 Zeichenfolge.Der Name einer Staging-Tabelle, die beim Ausführen von
merge
- oder Upsert-append
-Aktionen verwendet wird. Daten werden in diese Tabelle geschrieben und dann durch eine generierte Folgeaktion nachtable
verschoben. -
SelectedColumns
– Ein Array mit Option-Objekten.Gibt die kombinierten Spalten an, um einen Datensatz zu identifizieren, wenn Übereinstimmungen für Zusammenführungen und Upserts ermittelt werden. Eine Liste von Strukturen mit
value
-,label
- unddescription
-Schlüsseln. Jede Struktur beschreibt eine Spalte. -
AutoPushdown
– Boolesch.Gibt an, ob der automatische Abfrage-Pushdown aktiviert ist. Wenn Pushdown aktiviert ist, wird bei der Ausführung einer Abfrage auf Spark ein Teil der Abfrage auf den Snowflake-Server „heruntergeschoben“, wenn dies möglich ist. Dies verbessert die Leistung einiger Abfragen.
-
TableSchema
– Ein Array mit Option-Objekten.Definiert das Zielschema für den Knoten manuell. Eine Liste von Strukturen mit
value
-,label
- unddescription
-Schlüsseln. Jede Struktur definiert eine Spalte.
SnowflakeSource Struktur
Gibt eine Snowflake-Datenquelle an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name der Snowflake-Datenquelle.
-
Data
– Erforderlich: Ein SnowflakeNodeData-Objekt.Konfiguration für die Snowflake-Datenquelle.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt benutzerdefinierte Schemas für Ihre Ausgabedaten an.
SnowflakeTarget Struktur
Gibt ein Snowflake-Ziel an.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name des Snowflake-Ziels.
-
Data
– Erforderlich: Ein SnowflakeNodeData-Objekt.Gibt die Daten des Snowflake-Zielknotens an.
-
Inputs
— Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
ConnectorDataSource Struktur
Gibt eine Quelle an, die mit Standardverbindungsoptionen generiert wurde.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name dieses Quell-Knotens.
-
ConnectionType
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Das
connectionType
, wie es der zugrunde liegenden AWS Glue Bibliothek zur Verfügung gestellt wurde. Dieser Knotentyp unterstützt die folgenden Verbindungstypen:-
opensearch
-
azuresql
-
azurecosmos
-
bigquery
-
saphana
-
teradata
-
vertica
-
-
Data
– Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8.
Jeder Wert ist eine Zeichenfolge mit UTF -8.
Eine Zuordnung, die Verbindungsoptionen für den Knoten angibt. Standardverbindungsoptionen für den entsprechenden Verbindungstyp finden Sie im Abschnitt Verbindungsparameter der AWS Glue Dokumentation.
-
OutputSchemas
– Ein Array mit GlueSchema-Objekten.Gibt das Datenschema für diese Quelle an.
ConnectorDataTarget Struktur
Gibt ein Ziel an, das mit Standardverbindungsoptionen generiert wurde.
Felder
-
Name
— Erforderlich: UTF -8 Zeichenfolge, entspricht derCustom string pattern #45.Der Name dieses Ziel-Knotens.
-
ConnectionType
— Erforderlich: UTF -8 Zeichenfolge, entspricht der. Custom string pattern #43Das
connectionType
, wie es der zugrunde liegenden AWS Glue Bibliothek zur Verfügung gestellt wurde. Dieser Knotentyp unterstützt die folgenden Verbindungstypen:-
opensearch
-
azuresql
-
azurecosmos
-
bigquery
-
saphana
-
teradata
-
vertica
-
-
Data
– Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8.
Jeder Wert ist eine Zeichenfolge mit UTF -8.
Eine Zuordnung, die Verbindungsoptionen für den Knoten angibt. Standardverbindungsoptionen für den entsprechenden Verbindungstyp finden Sie im Abschnitt Verbindungsparameter der AWS Glue Dokumentation.
-
Inputs
— Ein Array von UTF -8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenketten.Die Knoten, die Eingaben für das Datenziel sind.
RecipeStep Struktur
Ein Rezeptschritt, der in einem Rezeptknoten für die Datenvorbereitung in AWS Glue Studio verwendet wird.
Felder
-
Action
– Erforderlich: Ein RecipeAction-Objekt.Die Transformationsaktion des Rezeptschritts.
-
ConditionExpressions
– Ein Array mit ConditionExpression-Objekten.Die Bedingungsausdrücke für den Rezeptschritt.
RecipeAction Struktur
Aktionen, die im Rezeptknoten für die Datenvorbereitung in AWS Glue Studio definiert sind.
Felder
-
Operation
— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 128 Byte lang, entspricht. Custom string pattern #38Die Funktionsweise der Rezeptaktion.
-
Parameters
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine Zeichenfolge von UTF -8, die nicht weniger als 1 oder mehr als 128 Byte lang ist und der Custom string pattern #39 entspricht.
Jeder Wert ist eine Zeichenfolge von UTF -8, die nicht weniger als 1 oder mehr als 32768 Byte lang ist.
Die Parameter der Rezeptaktion.
ConditionExpression Struktur
Bedingungsausdruck, der im Rezeptknoten für die Datenvorbereitung in AWS Glue Studio definiert ist.
Felder
-
Condition
— Erforderlich: UTF -8 Zeichenfolge, nicht weniger als 1 oder mehr als 128 Byte lang, entspricht. Custom string pattern #38Die Bedingung des Bedingungsausdrucks.
-
Value
— UTF -8 Zeichenfolge, nicht mehr als 1024 Byte lang.Der Wert des Bedingungsausdrucks.
-
TargetColumn
— Erforderlich: Zeichenfolge UTF -8, nicht weniger als 1 oder mehr als 1024 Byte lang.Die Zielspalte der Bedingungsausdrücke.