API processo visuale

L'API Visual Job consente di creare processi di integrazione dei dati utilizzando l' AWS Glue API di un oggetto JSON che rappresenta una configurazione visiva di un AWS Glue lavoro.

Viene fornito un elenco CodeGenConfigurationNodes di API per la creazione o l'aggiornamento del lavoro per registrare un DAG in AWS Glue Studio per il lavoro creato e generare il codice associato.

Tipi di dati

• CodeGenConfigurationNode struttura

• Struttura JDBC ConnectorOptions

• StreamingDataPreviewOptions struttura

• AthenaConnectorSource struttura

• Struttura JDBC ConnectorSource

• SparkConnectorSource struttura

• CatalogSource struttura

• Struttura MySQL CatalogSource

• Struttura PostgreSQL CatalogSource

• CatalogSource Struttura OracleSQL

• Struttura Microsoft SQL ServerCatalogSource

• CatalogKinesisSource struttura

• DirectKinesisSource struttura

• KinesisStreamingSourceOptions struttura

• CatalogKafkaSource struttura

• DirectKafkaSource struttura

• KafkaStreamingSourceOptions struttura

• RedshiftSource struttura

• AmazonRedshiftSource struttura

• AmazonRedshiftNodeData struttura

• AmazonRedshiftAdvancedOption struttura

• Struttura Option

• struttura S3 CatalogSource

• Struttura S3 SourceAdditionalOptions

• Struttura S3 CsvSource

• Struttura DirectJDBCSource

• Struttura S3 DirectSourceAdditionalOptions

• Struttura S3 JsonSource

• Struttura S3 ParquetSource

• Struttura S3 DeltaSource

• Struttura S3 CatalogDeltaSource

• CatalogDeltaSource struttura

• Struttura S3 HudiSource

• Struttura S3 CatalogHudiSource

• CatalogHudiSource struttura

• Struttura DynamoDB CatalogSource

• RelationalCatalogSource struttura

• struttura JDBC ConnectorTarget

• SparkConnectorTarget struttura

• BasicCatalogTarget struttura

• Struttura MySQL CatalogTarget

• Struttura PostgreSQL CatalogTarget

• Struttura OracleSQL CatalogTarget

• Struttura Microsoft SQL ServerCatalogTarget

• RedshiftTarget struttura

• AmazonRedshiftTarget struttura

• UpsertRedshiftTargetOptions struttura

• struttura S3 CatalogTarget

• Struttura S3 GlueParquetTarget

• CatalogSchemaChangePolicy struttura

• struttura S3 DirectTarget

• Struttura S3 HudiCatalogTarget

• Struttura S3 HudiDirectTarget

• Struttura S3 DeltaCatalogTarget

• Struttura S3 DeltaDirectTarget

• DirectSchemaChangePolicy struttura

• ApplyMapping struttura

• Struttura mappatura

• SelectFields struttura

• DropFields struttura

• RenameField struttura

• Struttura Spigot

• Struttura join

• JoinColumn struttura

• SplitFields struttura

• SelectFromCollection struttura

• FillMissingValues struttura

• Struttura filtro

• FilterExpression struttura

• FilterValue struttura

• CustomCode struttura

• Struttura SparkSQL

• SqlAlias struttura

• DropNullFields struttura

• NullCheckBoxList struttura

• NullValueField struttura

• Struttura Datatype

• Struttura Merge

• Struttura unione

• Struttura PIIDetection

• Struttura aggregata

• DropDuplicates struttura

• GovernedCatalogTarget struttura

• GovernedCatalogSource struttura

• AggregateOperation struttura

• GlueSchema struttura

• GlueStudioSchemaColumn struttura

• GlueStudioColumn struttura

• DynamicTransform struttura

• TransformConfigParameter struttura

• EvaluateDataQuality struttura

• struttura DQ ResultsPublishingOptions

• Struttura DQ StopJobOnFailureOptions

• EvaluateDataQualityMultiFrame struttura

• Struttura Recipe

• RecipeReference struttura

• SnowflakeNodeData struttura

• SnowflakeSource struttura

• SnowflakeTarget struttura

• ConnectorDataSource struttura

• ConnectorDataTarget struttura

• RecipeStep struttura

• RecipeAction struttura

• ConditionExpression struttura

CodeGenConfigurationNode struttura

CodeGenConfigurationNode enumera tutti i tipi di nodo validi. È possibile compilare una e solo una delle variabili membro.

Campi

• AthenaConnectorSource: un oggetto AthenaConnectorSource.

  Specifica un connettore per un'origine dati Amazon Athena.

• JDBCConnectorSource: un oggetto JDBC ConnectorSource.

  Specifica un connettore per un'origine dati JDBC.

• SparkConnectorSource: un oggetto SparkConnectorSource.

  Specifica un connettore per un'origine dati Apache Spark.

• CatalogSource: un oggetto CatalogSource.

  Speciifica un data store nel AWS Glue Data Catalog.

• RedshiftSource: un oggetto RedshiftSource.

  Specifica un archivio dati Amazon Redshift.

• S3CatalogSource: un oggetto S3 CatalogSource.

  Speciifica un data store Amazon S3 nel Data Catalog AWS Glue .

• S3CsvSource: un oggetto S3 CsvSource.

  Specifica un archivio dati CSV (valori delimitati da comandi) archiviati in Amazon S3.

• S3JsonSource: un oggetto S3 JsonSource.

  Specifica un archivio dati JSON in Amazon S3.

• S3ParquetSource: un oggetto S3 ParquetSource.

  Specifica un archivio dati di Apache Parquet archiviato in Amazon S3.

• RelationalCatalogSource: un oggetto RelationalCatalogSource.

  Speciifica un data store di catalogo relazionale nel Data Catalog. AWS Glue

• DynamoDBCatalogSource: un oggetto DynamoDB CatalogSource.

  Specifica un data store DynamoDBC Catalog nel Data Catalog. AWS Glue

• JDBCConnectorTarget: un oggetto JDBC ConnectorTarget.

  Specifica una destinazioni di dati che scrive su Amazon S3 nell'archiviazione colonnare di Apache Parquet.

• SparkConnectorTarget: un oggetto SparkConnectorTarget.

  Specifica una destinazione che utilizza un connettore Apache Spark.

• CatalogTarget: un oggetto BasicCatalogTarget.

  Specifica una destinazione che utilizza una AWS Glue tabella Data Catalog.

• RedshiftTarget: un oggetto RedshiftTarget.

  Specifica una destinazione che utilizza Amazon Redshift.

• S3CatalogTarget: un oggetto S3 CatalogTarget.

  Speciifica un target di dati che scrive su Amazon S3 utilizzando AWS Glue il Data Catalog.

• S3GlueParquetTarget: un oggetto S3 GlueParquetTarget.

  Specifica una destinazioni di dati che scrive su Amazon S3 nell'archiviazione colonnare di Apache Parquet.

• S3DirectTarget: un oggetto S3 DirectTarget.

  Specifica una destinazione di dati che scrive su Amazon S3.

• ApplyMapping: un oggetto ApplyMapping.

  Specifica una trasformazione che mappa le chiavi delle proprietà dei dati nell'origine dei dati alle chiavi delle proprietà dei dati nella destinazione. È possibile rinominare le chiavi, modificare i tipi di dati per le chiavi e scegliere le chiavi da eliminare dal set di dati.

• SelectFields: un oggetto SelectFields.

  Specifica una trasformazione che sceglie le chiavi della proprietà dati che si desidera conservare.

• DropFields: un oggetto DropFields.

  Specifica una trasformazione che sceglie le chiavi della proprietà dati che si desidera eliminare.

• RenameField: un oggetto RenameField.

  Specifica una trasformazione che rinominerà una singola chiave di proprietà dati.

• Spigot: un oggetto Spigot.

  Specifica una trasformazione che scrive campioni dei dati in un bucket Amazon S3.

• Join: un oggetto Join.

  Specifica una trasformazione che unisce due set di dati in un unico set di dati utilizzando una frase di confronto sulle chiavi di proprietà dei dati specificate. È possibile utilizzare inner, outer, left, right, left semi e left anti join.

• SplitFields: un oggetto SplitFields.

  Specifica una trasformazione che divide le chiavi della proprietà dati in due DynamicFrames. L'output è una raccolta di DynamicFrames: uno con le chiavi di proprietà dei dati selezionate e uno con le chiavi di proprietà dei dati rimanenti.

• SelectFromCollection: un oggetto SelectFromCollection.

  Specifica una trasformazione che sceglie un DynamicFrame da una raccolta di DynamicFrames. L'output è il DynamicFrame selezionato

• FillMissingValues: un oggetto FillMissingValues.

  Specifica una trasformazione che individua i registri nel set di dati che hanno valori mancanti e aggiunge un nuovo campo con un valore determinato dall'imputazione. Il set di dati di input viene utilizzato per addestrare il modello di machine learning che determina quale dovrebbe essere il valore mancante.

• Filter: un oggetto Filtro.

  Specifica una trasformazione che divide un set di dati in due, in base a una condizione di filtro.

• CustomCode: un oggetto CustomCode.

  Specifica una trasformazione che utilizza il codice personalizzato fornito per eseguire la trasformazione dei dati. L'output è una raccolta di. DynamicFrames

• SparkSQL: un oggetto SparkSQL.

  Specifica una trasformazione in cui si inserisce una query SQL utilizzando la sintassi Spark SQL per trasformare i dati. L'output è un singolo DynamicFrame.

• DirectKinesisSource: un oggetto DirectKinesisSource.

  Specifica un'origine dati Amazon Kinesis diretta.

• DirectKafkaSource: un oggetto DirectKafkaSource.

  Specifica un archivio dati Apache Kafka.

• CatalogKinesisSource: un oggetto CatalogKinesisSource.

  Specifica un'origine dati Kinesis nel Data Catalog AWS Glue .

• CatalogKafkaSource: un oggetto CatalogKafkaSource.

  Specifica un archivio dati Apache Kafka nel catalogo dati.

• DropNullFields: un oggetto DropNullFields.

  Specifica una trasformazione che rimuove le colonne dal set di dati se tutti i valori nella colonna sono “null”. Per impostazione predefinita, AWS Glue Studio riconosce gli oggetti nulli, ma alcuni valori come stringhe vuote, stringhe «nulle», numeri interi -1 o altri segnaposto come gli zeri, non vengono riconosciuti automaticamente come nulli.

• Merge: un oggetto Unione.

  Specifica una trasformazione che unisce DynamicFrame a con un DynamicFrame di staging basato sulle chiavi primarie specificate per identificare i registri. I registri duplicati (registri con le stesse chiavi primarie) non vengono deduplicati.

• Union: un oggetto Union.

  Specifica una trasformazione che combina le righe di due o più set di dati in un unico risultato.

• PIIDetection: un oggetto PIIDetection.

  Specifica una trasformazione che identifica, rimuove o maschera i dati PII.

• Aggregate: un oggetto Aggregazione.

  Specifica una trasformazione che raggruppa le righe in base ai campi scelti e calcola il valore aggregato in base alla funzione specificata.

• DropDuplicates: un oggetto DropDuplicates.

  Specifica una trasformazione che rimuove le righe di dati ripetuti da un set di dati.

• GovernedCatalogTarget: un oggetto GovernedCatalogTarget.

  Specifica una destinazione di dati che scrive su un catalogo governato.

• GovernedCatalogSource: un oggetto GovernedCatalogSource.

  Specifica un'origine dei dati in un catalogo dati governato.

• MicrosoftSQLServerCatalogSource: un oggetto Microsoft SQL ServerCatalogSource.

  Specifica un'origine dei dati di Microsoft SQL Server nel Catalogo dati di AWS Glue .

• MySQLCatalogSource: un oggetto MySQL CatalogSource.

  Specifica un'origine dati MySQL nel Data Catalog. AWS Glue

• OracleSQLCatalogSource: un oggetto OracleSQL CatalogSource.

  Specifica un'origine dati Oracle nel Data Catalog. AWS Glue

• PostgreSQLCatalogSource: un oggetto PostgreSQL CatalogSource.

  Specifica un'origine dati PostgressQL nel Data Catalog. AWS Glue

• MicrosoftSQLServerCatalogTarget: un oggetto Microsoft SQL ServerCatalogTarget.

  Specifica una destinazione che utilizza Microsoft SQL.

• MySQLCatalogTarget: un oggetto MySQL CatalogTarget.

  Specifica una destinazione che utilizza MySQL.

• OracleSQLCatalogTarget: un oggetto OracleSQL CatalogTarget.

  Specifica una destinazione che utilizza Oracle SQL.

• PostgreSQLCatalogTarget: un oggetto PostgreSQL CatalogTarget.

  Specifica una destinazione che utilizza Postgres SQL.

• DynamicTransform: un oggetto DynamicTransform.

  Specifica una trasformazione visiva personalizzata creata da un utente.

• EvaluateDataQuality: un oggetto EvaluateDataQuality.

  Specifica i criteri di valutazione della qualità dei dati.

• S3CatalogHudiSource: un oggetto S3 CatalogHudiSource.

  Specifica un'origine dati Hudi registrata nel Data Catalog. AWS Glue L'origine dati deve essere archiviata in. Amazon S3

• CatalogHudiSource: un oggetto CatalogHudiSource.

  Specifica una fonte di dati Hudi registrata nel AWS Glue Data Catalog.

• S3HudiSource: un oggetto S3 HudiSource.

  Specifica una fonte di dati Hudi memorizzata in. Amazon S3

• S3HudiCatalogTarget: un oggetto S3 HudiCatalogTarget.

  Specifica una destinazione che scrive su un'origine dati Hudi nel Data Catalog. AWS Glue

• S3HudiDirectTarget: un oggetto S3 HudiDirectTarget.

  Specifica una destinazione che scrive su una fonte di dati Hudi in. Amazon S3

• S3CatalogDeltaSource: un oggetto S3 CatalogDeltaSource.

  Specifica un'origine dati Delta Lake registrata nel Data Catalog. AWS Glue L'origine dati deve essere archiviata in Amazon S3.

• CatalogDeltaSource: un oggetto CatalogDeltaSource.

  Specifica un'origine dati Delta Lake registrata nel AWS Glue Data Catalog.

• S3DeltaSource: un oggetto S3 DeltaSource.

  Specifica un'origine dati Delta Lake memorizzata in. Amazon S3

• S3DeltaCatalogTarget: un oggetto S3 DeltaCatalogTarget.

  Speciifica una destinazione che scrive su un'origine dati Delta Lake nel AWS Glue Data Catalog.

• S3DeltaDirectTarget: un oggetto S3 DeltaDirectTarget.

  Specifica una destinazione che esegue la scrittura su un'origine dati Delta Lake in. Amazon S3

• AmazonRedshiftSource: un oggetto AmazonRedshiftSource.

  Specifica una destinazione che scrive su un'origine dati in Amazon Redshift.

• AmazonRedshiftTarget: un oggetto AmazonRedshiftTarget.

  Specifica una destinazione che scrive su una destinazione dati in Amazon Redshift.

• EvaluateDataQualityMultiFrame: un oggetto EvaluateDataQualityMultiFrame.

  Specifica i criteri di valutazione della qualità dei dati. Consente più dati di input e restituisce una raccolta di frame dinamici.

• Recipe: un oggetto Recipe.

  Specifica un nodo di AWS Glue DataBrew ricetta.

• SnowflakeSource: un oggetto SnowflakeSource.

  Specifica un'origine dati Snowflake.

• SnowflakeTarget: un oggetto SnowflakeTarget.

  Specifica una destinazione che scrive su un'origine dati Snowflake.

• ConnectorDataSource: un oggetto ConnectorDataSource.

  Specifica un'origine generata con opzioni di connessione standard.

• ConnectorDataTarget: un oggetto ConnectorDataTarget.

  Specifica un a destinazione generata con opzioni di connessione standard.

Struttura JDBC ConnectorOptions

Opzioni di connessione aggiuntive per il connettore.

Campi

• FilterPredicate: stringa UTF-8, corrispondente a Custom string pattern #42.

  Clausola condizione extra per filtrare i dati dall'origine. Ad esempio:

  BillingCity='Mountain View'

  Quando si utilizza una query anziché un nome di tabella, è necessario verificare che la query funzioni con il filterPredicate specificato.

• PartitionColumn: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome di una colonna intera utilizzata per il partizionamento. Questa opzione funziona solo quando è inclusa con lowerBound, upperBound e numPartitions. Questa opzione funziona allo stesso modo del lettore Spark SQL JDBC.

• LowerBound: numero (long), non superiore a Nessuno.

  Il valore minimo di partitionColumn che viene utilizzato per decidere lo stride della partizione.

• UpperBound: numero (long), non superiore a Nessuno.

  Il valore massimo di partitionColumn che viene utilizzato per decidere lo stride della partizione.

• NumPartitions: numero (long), non superiore a Nessuno.

  Il numero di partizioni. Questo valore, insieme a lowerBound (incluso) e upperBound (escluso), forma stride di partizione per espressioni con le clausole WHERE generate che vengono utilizzate per dividere la partitionColumn.

• JobBookmarkKeys: una matrice di stringhe UTF-8.

  Il nome delle chiavi dei segnalibri di processo su cui eseguire l'ordinamento.

• JobBookmarkKeysSortOrder: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il criterio di ordinamento crescente o decrescente.

• DataTypeMapping: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 (valori validi:ARRAY | BIGINT | BINARY | BIT | BLOB | BOOLEAN | CHAR | CLOB | DATALINK | DATE | DECIMAL | DISTINCT | DOUBLE | FLOAT | INTEGER | JAVA_OBJECT | LONGNVARCHAR | LONGVARBINARY | LONGVARCHAR | NCHAR | NCLOB | NULL | NUMERIC | NVARCHAR | OTHER | REAL | REF | REF_CURSOR | ROWID | SMALLINT | SQLXML | STRUCT | TIME | TIME_WITH_TIMEZONE | TIMESTAMP | TIMESTAMP_WITH_TIMEZONE | TINYINT | VARBINARY | VARCHAR).

  Ogni valore è una stringa UTF-8 (valori validi: DATE | STRING | TIMESTAMP | INT | FLOAT | LONG | BIGDECIMAL | BYTE | SHORT | DOUBLE).

  Mappatura del tipo di dati personalizzata che crea una mappatura da un tipo di dati JDBC a un tipo di dati AWS Glue . Ad esempio, l'opzione "dataTypeMapping":{"FLOAT":"STRING"} mappa i campi di dati di tipo JDBC FLOAT nel String tipo Java chiamando il ResultSet.getString() metodo del driver e lo utilizza per creare il record. AWS Glue L'oggetto ResultSet viene implementato da ciascun driver, quindi il comportamento è specifico del driver utilizzato. Consulta la documentazione relativa al driver JDBC per capire come il driver esegue le conversioni.

StreamingDataPreviewOptions struttura

Specifica le opzioni relative all'anteprima dei dati per la visualizzazione di un campione dei dati.

Campi

• PollingTime: numero (lungo), almeno 10.

  Il tempo di polling in millisecondi.

• RecordPollingLimit: numero (lungo), almeno 1.

  Il limite al numero di registri per cui è stato fatto il polling.

AthenaConnectorSource struttura

Specifica un connettore per un'origine dati Amazon Athena.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• ConnectionName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della connessione associata al connettore.

• ConnectorName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome di un connettore che consente di accedere all'archivio dati in AWS Glue Studio.

• ConnectionType: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il tipo di connessione, come marketplace.athena o custom.athena, che designa una connessione a un archivio dati Amazon Athena.

• ConnectionTable: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nell'origine dati.

• SchemaName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del gruppo di log CloudWatch da cui leggere. Ad esempio, /aws-glue/jobs/output.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Athena personalizzata.

Struttura JDBC ConnectorSource

Specifica un connettore per un'origine dati JDBC.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• ConnectionName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della connessione associata al connettore.

• ConnectorName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome di un connettore che consente di accedere all'archivio dati in Studio. AWS Glue

• ConnectionType: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il tipo di connessione, come marketplace.jdbc o custom.jdbc, che designa una connessione a un archivio dati JDBC.

• AdditionalOptions: un oggetto JDBC ConnectorOptions.

  Opzioni di connessione aggiuntive per il connettore.

• ConnectionTable: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nell'origine dati.

• Query: stringa UTF-8, corrispondente a Custom string pattern #43.

  La tabella o la query SQL da cui ottenere i dati. Puoi specificare ConnectionTable o query, ma non entrambi.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine JDBC personalizzata.

SparkConnectorSource struttura

Specifica un connettore per un'origine dati Apache Spark.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• ConnectionName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della connessione associata al connettore.

• ConnectorName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome di un connettore che consente di accedere all'archivio dati in AWS Glue Studio.

• ConnectionType: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il tipo di connessione, come marketplace.spark o custom.spark, che designa una connessione a un archivio dati di Apache Spark.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Opzioni di connessione aggiuntive per il connettore.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Spark personalizzata.

CatalogSource struttura

Speciifica un data store nel AWS Glue Data Catalog.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del archivio dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

Struttura MySQL CatalogSource

Specifica un'origine dati MySQL nel Data Catalog. AWS Glue

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

Struttura PostgreSQL CatalogSource

Specifica un'origine dati PostgressQL nel Data Catalog. AWS Glue

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

CatalogSource Struttura OracleSQL

Speciifica un'origine dati Oracle nel Data Catalog. AWS Glue

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

Struttura Microsoft SQL ServerCatalogSource

Specifica un'origine dei dati di Microsoft SQL Server nel Catalogo dati di AWS Glue .

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

CatalogKinesisSource struttura

Specifica un'origine dati Kinesis nel Data Catalog AWS Glue .

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• WindowSize: numero (intero), non superiore a Nessuno.

  La quantità di tempo da dedicare all'elaborazione di ciascun micro batch.

• DetectSchema: booleano.

  Se determinare automaticamente o meno lo schema dai dati in entrata.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• StreamingOptions: un oggetto KinesisStreamingSourceOptions.

  Opzioni aggiuntive per l'origine dati di streaming Kinesis.

• DataPreviewOptions: un oggetto StreamingDataPreviewOptions.

  Opzioni aggiuntive per l'anteprima dei dati.

DirectKinesisSource struttura

Specifica un'origine dati Amazon Kinesis diretta.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• WindowSize: numero (intero), non superiore a Nessuno.

  La quantità di tempo da dedicare all'elaborazione di ciascun micro batch.

• DetectSchema: booleano.

  Se determinare automaticamente o meno lo schema dai dati in entrata.

• StreamingOptions: un oggetto KinesisStreamingSourceOptions.

  Opzioni aggiuntive per l'origine dati di streaming Kinesis.

• DataPreviewOptions: un oggetto StreamingDataPreviewOptions.

  Opzioni aggiuntive per l'anteprima dei dati.

KinesisStreamingSourceOptions struttura

Opzioni aggiuntive per l'origine dati di streaming Amazon Kinesis.

Campi

• EndpointUrl: stringa UTF-8, corrispondente a Custom string pattern #42.

  L'URL dell'endpoint di Kinesis.

• StreamName: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del flusso di dati Kinesis.

• Classification: stringa UTF-8, corrispondente a Custom string pattern #42.

  Una classificazione facoltativa.

• Delimiter: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il carattere delimitatore.

• StartingPosition: stringa UTF-8 (valori validi: latest="LATEST" | trim_horizon="TRIM_HORIZON" | earliest="EARLIEST" | timestamp="TIMESTAMP").

  La posizione di partenza nel flusso dei dati Kinesis da cui leggere i dati. I valori possibili sono "latest", "trim_horizon", "earliest" o una stringa di timestamp in formato UTC con il modello yyyy-mm-ddTHH:MM:SSZ, dove Z rappresenta uno scostamento del fuso orario UTC con un segno +/- (ad esempio: "2023-04-04T08:00:00-04:00"). Il valore predefinito è "latest".

  Nota: l'utilizzo di un valore che è una stringa di timestamp in formato UTC per «startingPosition» è supportato solo per AWS Glue la versione 4.0 o successiva.

• MaxFetchTimeInMs: numero (long), non superiore a Nessuno.

  Il tempo massimo impiegato dall'esecutore del lavoro per leggere i record del batch corrente dal flusso di dati Kinesis, specificato in millisecondi (ms). In questo lasso di tempo possono essere effettuate più chiamate GetRecords API. Il valore di default è 1000.

• MaxFetchRecordsPerShard: numero (long), non superiore a Nessuno.

  Il numero massimo di record da recuperare per shard nel flusso di dati Kinesis per microbatch. Nota: il client può superare questo limite se il job di streaming ha già letto record aggiuntivi da Kinesis (nella stessa chiamata get-records). Se MaxFetchRecordsPerShard deve essere rigoroso, deve essere un multiplo di. MaxRecordPerRead Il valore di default è 100000.

• MaxRecordPerRead: numero (long), non superiore a Nessuno.

  Il numero massimo di registri da recuperare nel flusso dei dati Kinesis in ciascuna operazione getRecords. Il valore predefinito è 10000.

• AddIdleTimeBetweenReads: booleano.

  Aggiunge un ritardo tra due operazioni consecutive getRecords. Il valore predefinito è "False". Questa opzione è configurabile solo per Glue versione 2.0 e successive.

• IdleTimeBetweenReadsInMs: numero (long), non superiore a Nessuno.

  Il ritardo minimo tra due operazioni consecutive getRecords, specificato in ms. Il valore predefinito è 1000. Questa opzione è configurabile solo per Glue versione 2.0 e successive.

• DescribeShardInterval: numero (long), non superiore a Nessuno.

  L'intervallo di tempo minimo tra due chiamate ListShards API entro il quale lo script deve prendere in considerazione il resharding. Il valore predefinito è 1s.

• NumRetries: numero (intero), non superiore a Nessuno.

  Il numero massimo di tentativi per le richieste API Kinesis Data Streams. Il valore di default è 3.

• RetryIntervalMs: numero (long), non superiore a Nessuno.

  Il periodo di raffreddamento (specificato in ms) prima di riprovare la chiamata API Kinesis Data Streams. Il valore di default è 1000.

• MaxRetryIntervalMs: numero (long), non superiore a Nessuno.

  Il periodo di raffreddamento (specificato in ms) tra due tentativi di chiamata API Kinesis Data Streams. Il valore predefinito è 10000.

• AvoidEmptyBatches: booleano.

  Impedisce la creazione di un processo microbatch vuoto controllando la presenza di dati non letti nel flusso dei dati Kinesis prima che il batch venga avviato. Il valore predefinito è "False".

• StreamArn: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della risorsa Amazon (ARN) del flusso di dati Kinesis.

• RoleArn: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della risorsa Amazon (ARN) del ruolo da assumere tramite il servizio di token di sicurezza AWS (AWS STS). Questo ruolo deve disporre delle autorizzazioni per descrivere o leggere le operazioni dei registri per il flusso di dati Kinesis. Quando si accede a un flusso di dati in un altro account, è necessario utilizzare questo parametro. Usato in combinazione con "awsSTSSessionName".

• RoleSessionName: stringa UTF-8, corrispondente a Custom string pattern #42.

  Un identificatore della sessione che assume il ruolo tramite AWS STS. Quando si accede a un flusso di dati in un altro account, è necessario utilizzare questo parametro. Usato in combinazione con "awsSTSRoleARN".

• AddRecordTimestamp: stringa UTF-8, corrispondente a Custom string pattern #42.

  Quando questa opzione è impostata su "true", l'output dei dati conterrà una colonna aggiuntiva denominata "__src_timestamp" che indica l'ora in cui il record corrispondente è stato ricevuto dal flusso. Il valore predefinito è "false". Questa opzione è supportata nella AWS Glue versione 4.0 o successiva.

• EmitConsumerLagMetrics: stringa UTF-8, corrispondente a Custom string pattern #42.

  Quando questa opzione è impostata su «true», per ogni batch emette le metriche relative alla durata compresa tra il record più vecchio ricevuto dallo stream e l'ora in AWS Glue cui arriva. CloudWatch Il nome della metrica è «glue.driver.streaming. maxConsumerLagInMs». Il valore predefinito è "false". Questa opzione è supportata in AWS Glue versione 4.0 o successive.

• StartingTimestamp: stringa UTF-8.

  Il timestamp del record nel flusso di dati Kinesis da cui iniziare la lettura dei dati. I valori possibili sono una stringa di timestamp in formato UTC del modello yyyy-mm-ddTHH:MM:SSZ, dove Z rappresenta uno scostamento del fuso orario UTC con un segno +/- (ad esempio: "2023-04-04T 08:00:00+08:00").

CatalogKafkaSource struttura

Specifica un archivio dati Apache Kafka nel catalogo dati.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del archivio dati.

• WindowSize: numero (intero), non superiore a Nessuno.

  La quantità di tempo da dedicare all'elaborazione di ciascun micro batch.

• DetectSchema: booleano.

  Se determinare automaticamente o meno lo schema dai dati in entrata.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• StreamingOptions: un oggetto KafkaStreamingSourceOptions.

  Specifica le opzioni di streaming.

• DataPreviewOptions: un oggetto StreamingDataPreviewOptions.

  Specifica le opzioni relative all'anteprima dei dati per la visualizzazione di un campione dei dati.

DirectKafkaSource struttura

Specifica un archivio dati Apache Kafka.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del archivio dati.

• StreamingOptions: un oggetto KafkaStreamingSourceOptions.

  Specifica le opzioni di streaming.

• WindowSize: numero (intero), non superiore a Nessuno.

  La quantità di tempo da dedicare all'elaborazione di ciascun micro batch.

• DetectSchema: booleano.

  Se determinare automaticamente o meno lo schema dai dati in entrata.

• DataPreviewOptions: un oggetto StreamingDataPreviewOptions.

  Specifica le opzioni relative all'anteprima dei dati per la visualizzazione di un campione dei dati.

KafkaStreamingSourceOptions struttura

Opzioni aggiuntive per lo streaming.

Campi

• BootstrapServers: stringa UTF-8, corrispondente a Custom string pattern #42.

  Un elenco di URL del server bootstrap, ad esempio, come b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094. Questa opzione deve essere specificata nella chiamata API o definita nei metadati della tabella in catalogo dati.

• SecurityProtocol: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il protocollo utilizzato per comunicare con i broker. I valori possibili sono "SSL" o "PLAINTEXT".

• ConnectionName: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della connessione.

• TopicName: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome dell'argomento come specificato in Apache Kafka. Devi specificare almeno uno tra "topicName", "assign" o "subscribePattern".

• Assign: stringa UTF-8, corrispondente a Custom string pattern #42.

  Lo specifico TopicPartitions per consumare. Devi specificare almeno uno tra "topicName", "assign" o "subscribePattern".

• SubscribePattern: stringa UTF-8, corrispondente a Custom string pattern #42.

  Uuna stringa regex Java che identifichi l'elenco degli argomenti a cui effettuare la sottoscrizione. Devi specificare almeno uno tra "topicName", "assign" o "subscribePattern".

• Classification: stringa UTF-8, corrispondente a Custom string pattern #42.

  Una classificazione facoltativa.

• Delimiter: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il carattere delimitatore.

• StartingOffsets: stringa UTF-8, corrispondente a Custom string pattern #42.

  La posizione di partenza nell'argomento Kafka da cui leggere i dati. I valori possibili sono "earliest" o "latest". Il valore predefinito è "latest".

• EndingOffsets: stringa UTF-8, corrispondente a Custom string pattern #42.

  L'endpoint al quale viene terminata una query batch. I valori possibili sono "latest" o una stringa JSON che specifica un offset finale per ogni TopicPartition.

• PollTimeoutMs: numero (long), non superiore a Nessuno.

  Il timeout in millisecondi per il polling dei dati da Kafka negli esecutori del processo Spark. Il valore predefinito è 512.

• NumRetries: numero (intero), non superiore a Nessuno.

  Il numero di tentativi prima di non riuscire a recuperare gli offset Kafka. Il valore di default è 3.

• RetryIntervalMs: numero (long), non superiore a Nessuno.

  Il tempo di attesa in millisecondi prima di riprovare a recuperare gli offset Kafka. Il valore di default è 10.

• MaxOffsetsPerTrigger: numero (long), non superiore a Nessuno.

  Il limite di velocità sul numero massimo di offset elaborati per intervallo di attivazione. Il numero totale di offset specificato viene suddiviso proporzionalmente tra topicPartitions di diversi volumi. Il valore di default è null, il che significa che il consumer legge tutti gli offset fino all'ultimo offset noto.

• MinPartitions: numero (intero), non superiore a Nessuno.

  Il numero minimo desiderato di partizioni da leggere da Kafka. Il valore di default è null, il che significa che il numero di partizioni Spark è uguale al numero di partizioni Kafka.

• IncludeHeaders: booleano.

  Se includere le intestazioni di Kafka. Quando l'opzione è impostata su "true", l'output dei dati conterrà una colonna aggiuntiva denominata "glue_streaming_kafka_headers" con tipo Array[Struct(key: String, value: String)]. Il valore di default è "false". Questa opzione è disponibile solo nella AWS Glue versione 3.0 o successiva.

• AddRecordTimestamp: stringa UTF-8, corrispondente a Custom string pattern #42.

  Quando questa opzione è impostata su "true", l'output dei dati conterrà una colonna aggiuntiva denominata "__src_timestamp" che indica l'ora in cui il record corrispondente è stato ricevuto dall'argomento. Il valore predefinito è "false". Questa opzione è supportata nella AWS Glue versione 4.0 o successiva.

• EmitConsumerLagMetrics: stringa UTF-8, corrispondente a Custom string pattern #42.

  Quando questa opzione è impostata su «true», per ogni batch emette le metriche relative alla durata compresa tra il record più vecchio ricevuto dall'argomento e il momento in AWS Glue cui arriva. CloudWatch Il nome della metrica è «glue.driver.streaming. maxConsumerLagInMs». Il valore predefinito è "false". Questa opzione è supportata in AWS Glue versione 4.0 o successive.

• StartingTimestamp: stringa UTF-8.

  Il timestamp del record nell'argomento Kinesis da cui iniziare la lettura dei dati. I valori possibili sono una stringa di timestamp in formato UTC del modello yyyy-mm-ddTHH:MM:SSZ, dove Z rappresenta uno scostamento del fuso orario UTC con un segno +/- (ad esempio: "2023-04-04T 08:00:00+08:00").

  Deve essere impostato solo un valore tra StartingTimestamp e StartingOffsets.

RedshiftSource struttura

Specifica un archivio dati Amazon Redshift.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'archivio dati Amazon Redshift.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  La tabella del database da cui leggere.

• RedshiftTmpDir: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il percorso Amazon S3 in cui i dati temporanei possono essere caricati durante la copia dal database.

• TmpDirIAMRole: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il ruolo IAM con autorizzazioni.

AmazonRedshiftSource struttura

Il nome della connessione è l'origine Amazon Redshift.

Campi

• Name: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine Amazon Redshift.

• Data: un oggetto AmazonRedshiftNodeData.

  Specifica i dati del nodo di origine Amazon Redshift.

AmazonRedshiftNodeData struttura

Specifica un nodo Amazon Redshift.

Campi

• AccessType: stringa UTF-8, corrispondente a Custom string pattern #41.

  Il tipo di accesso per la connessione Redshift. Può essere una connessione diretta o una connessione al catalogo.

• SourceType: stringa UTF-8, corrispondente a Custom string pattern #41.

  Il tipo di origine per specificare se una tabella specifica è l'origine o una query personalizzata.

• Connection: un oggetto Opzione.

  La AWS Glue connessione al cluster Redshift.

• Schema: un oggetto Opzione.

  Il nome dello schema Redshift quando si lavora con una connessione diretta.

• Table: un oggetto Opzione.

  Il nome della tabella Redshift quando si lavora con una connessione diretta.

• CatalogDatabase: un oggetto Opzione.

  Il nome del database AWS Glue Data Catalog quando si lavora con un catalogo di dati.

• CatalogTable: un oggetto Opzione.

  Il nome della tabella AWS Glue Data Catalog quando si lavora con un catalogo di dati.

• CatalogRedshiftSchema: stringa UTF-8.

  Il nome dello schema Redshift quando si lavora con un catalogo dati.

• CatalogRedshiftTable: stringa UTF-8.

  La tabella del database da cui leggere.

• TempDir: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il percorso Amazon S3 in cui i dati temporanei possono essere caricati durante la copia dal database.

• IamRole: un oggetto Opzione.

  Facoltativo. Il nome del ruolo utilizzato durante la connessione a S3. Se lasciato vuoto, il ruolo IAM assumerà per impostazione predefinita il ruolo nel processo.

• AdvancedOptions: una matrice di oggetti AmazonRedshiftAdvancedOption.

  Valori facoltativi durante la connessione al cluster Redshift.

• SampleQuery: stringa UTF-8.

  L'SQL utilizzato per recuperare i dati da una fonte Redshift quando SourceType è 'query'.

• PreAction: stringa UTF-8.

  L'SQL utilizzato prima di un'esecuzione di MERGE o APPEND con upsert.

• PostAction: stringa UTF-8.

  L'SQL utilizzato prima di un'esecuzione di MERGE o APPEND con upsert.

• Action: stringa UTF-8.

  Specifica come verrà eseguita la scrittura su un cluster Redshift.

• TablePrefix: stringa UTF-8, corrispondente a Custom string pattern #41.

  Specifica il prefisso di una tabella.

• Upsert: booleano.

  L'operazione utilizzata in un sink Redshift quando si esegue un APPEND.

• MergeAction: stringa UTF-8, corrispondente a Custom string pattern #41.

  L'operazione utilizzata per determinare come verrà gestito un MERGE in un sink Redshift.

• MergeWhenMatched: stringa UTF-8, corrispondente a Custom string pattern #41.

  L'operazione utilizzata per determinare come verrà gestito un MERGE in un sink Redshift quando un record esistente corrisponde a un nuovo record.

• MergeWhenNotMatched: stringa UTF-8, corrispondente a Custom string pattern #41.

  L'operazione utilizzata per determinare come verrà gestito un MERGE in un sink Redshift quando un record esistente non corrisponde a un nuovo record.

• MergeClause: stringa UTF-8.

  L'SQL utilizzato in un merge personalizzato per gestire i record corrispondenti.

• CrawlerConnection: stringa UTF-8.

  Specifica il nome della connessione associata alla tabella del catalogo utilizzata.

• TableSchema: una matrice di oggetti Opzione.

  L'array di output dello schema per un determinato nodo.

• StagingTable: stringa UTF-8.

  Il nome della tabella intermedia temporanea utilizzata quando si esegue un MERGE o un APPEND con upsert.

• SelectedColumns: una matrice di oggetti Opzione.

  L'elenco dei nomi di colonna utilizzati per determinare un record corrispondente quando si esegue un MERGE o un APPEND con upsert.

AmazonRedshiftAdvancedOption struttura

Specifica un valore facoltativo per la connessione al cluster Redshift.

Campi

• Key: stringa UTF-8.

  La chiave dell'opzione di connessione aggiuntiva.

• Value: stringa UTF-8.

  Il valore dell'opzione di connessione aggiuntiva.

Struttura Option

Specifica il valore di un'opzione.

Campi

• Value: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il valore dell'opzione.

• Label: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica l'etichetta dell'opzione.

• Description: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica la descrizione dell'opzione.

struttura S3 CatalogSource

Speciifica un data store Amazon S3 nel Data Catalog AWS Glue .

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del archivio dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  La tabella del database da cui leggere.

• PartitionPredicate: stringa UTF-8, corrispondente a Custom string pattern #42.

  Le partizioni che soddisfano questo predicato vengono eliminate. I file all'interno del periodo di conservazione in queste partizioni non vengono eliminati. Impostato su "": vuoto per impostazione predefinita.

• AdditionalOptions: un oggetto S3 SourceAdditionalOptions.

  Specifica opzioni di connessione aggiuntive.

Struttura S3 SourceAdditionalOptions

Specifica opzioni di connessione aggiuntive per l'archivio dati Amazon S3.

Campi

• BoundedSize: numero (lungo).

  Imposta il limite superiore per la dimensione di destinazione del set di dati in byte che verranno elaborati.

• BoundedFiles: numero (lungo).

  Imposta il limite superiore per il numero di file di destinazione che verranno elaborati.

Struttura S3 CsvSource

Specifica un archivio dati CSV (valori delimitati da comandi) archiviati in Amazon S3.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del archivio dati.

• Paths: obbligatorio: una matrice di stringhe UTF-8.

  Un elenco dei percorsi Amazon S3 da cui leggere.

• CompressionType: stringa UTF-8 (valori validi: gzip="GZIP" | bzip2="BZIP2").

  Specifica il modo in cui i dati sono compressi. In genere questo non è necessario se i dati hanno un'estensione del file standard. I valori possibili sono "gzip" e "bzip").

• Exclusions: una matrice di stringhe UTF-8.

  Una stringa contenente un elenco di JSON di modelli glob in stile Unix da escludere. Ad esempio "[\"**.pdf \"]" esclude tutti i file PDF.

• GroupSize: stringa UTF-8, corrispondente a Custom string pattern #42.

  La dimensione del gruppo di destinazione in byte. Il valore di default viene calcolato in base alla dimensione dei dati di input e alle dimensioni del cluster. Quando sono presenti meno di 50.000 file di input, "groupFiles" deve essere impostato su "inPartition" per rendere effettiva la modifica.

• GroupFiles: stringa UTF-8, corrispondente a Custom string pattern #42.

  Quando l'input contiene più di 50.000 file, il raggruppamento di file è attivato per impostazione predefinita. Per attivare il raggruppamento con meno di 50.000 file, imposta questo parametro su "inPartition". Per disabilitare il raggruppamento in presenza di più di 50.000 file, imposta il parametro su "none".

• Recurse: booleano.

  Se è impostato su "vero", legge i file in modo ricorsivo in tutte le sottodirectory dei percorsi specificati.

• MaxBand: numero (intero), non superiore a Nessuno.

  Questa opzione controlla la durata in millisecondi dopo la quale è probabile che l'elenco s3 sia coerente. I file con timestamp di modifica che rientrano negli ultimi millisecondi MaxBand vengono tracciati appositamente quando vengono utilizzati per tenere conto JobBookmarks della coerenza finale di Amazon S3. Per la maggior parte degli utenti non è necessario impostare questa opzione. Il valore di default è 900.000 millisecondi o 15 minuti.

• MaxFilesInBand: numero (intero), non superiore a Nessuno.

  Questa opzione specifica il numero massimo di file da salvare negli ultimi secondi maxBand. Se si supera questo valore, i file aggiuntivi vengono saltati e solo elaborati nella successiva esecuzione del processo.

• AdditionalOptions: un oggetto S3 DirectSourceAdditionalOptions.

  Specifica opzioni di connessione aggiuntive.

• Separator: obbligatorio: stringa UTF-8 (valori validi: comma="COMMA" | ctrla="CTRLA" | pipe="PIPE" | semicolon="SEMICOLON" | tab="TAB").

  Specifica il carattere delimitatore. Il valore di default è una virgola: ",", ma è possibile specificare qualsiasi altro carattere.

• Escaper: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica un carattere di escape. Questa opzione viene utilizzata solo durante la lettura di file CSV. Il valore predefinito è none. Se questa opzione è abilitata, il carattere immediatamente seguente viene usato così come è, ad eccezione di un piccolo set di caratteri di escape ben noti (\n, \r, \t e \0).

• QuoteChar: obbligatorio: stringa UTF-8 (valori validi: quote="QUOTE" | quillemet="QUILLEMET" | single_quote="SINGLE_QUOTE" | disabled="DISABLED").

  Specifica il carattere da usare per le virgolette. Per impostazione predefinita vengono usate le virgolette doppie: '"'. Imposta questo valore su -1 per disattivare completamente le virgolette.

• Multiline: booleano.

  Un valore booleano che specifica se un singolo registro può estendersi su più righe. Ciò può accadere quando un campo contiene un carattere di nuova riga tra virgolette. Imposta questa opzione su "Vero" se un qualsiasi registro si estende su più righe. Il valore di default è False, che consente una divisione dei file più netta durante l'analisi.

• WithHeader: booleano.

  Un valore booleano che specifica se trattare la prima riga come intestazione. Il valore predefinito è False.

• WriteHeader: booleano.

  Un valore booleano che specifica se scrivere l'intestazione nell'output. Il valore predefinito è True.

• SkipFirst: booleano.

  Un valore booleano che specifica se ignorare la prima riga di dati. Il valore predefinito è False.

• OptimizePerformance: booleano.

  Un valore booleano che specifica se utilizzare il lettore SIMD CSV avanzato insieme ai formati di memoria colonnare basati su Apache Arrow. AWS Glue Disponibile solo nella versione 3.0.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine CSV S3 personalizzata.

Struttura DirectJDBCSource

Specifica la connessione diretta all'origine JDBC.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome della connessione di origine JDBC.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il database della connessione di origine JDBC.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  La tabella della connessione di origine JDBC.

• ConnectionName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della connessione dell'origine JDBC.

• ConnectionType: obbligatorio: stringa UTF-8 (valori validi: sqlserver | mysql | oracle | postgresql | redshift).

  Il tipo di connessione dell'origine JDBC.

• RedshiftTmpDir: stringa UTF-8, corrispondente a Custom string pattern #42.

  La directory temporanea dell'origine JDBC Redshift.

Struttura S3 DirectSourceAdditionalOptions

Specifica opzioni di connessione aggiuntive per l'archivio dati Amazon S3.

Campi

• BoundedSize: numero (lungo).

  Imposta il limite superiore per la dimensione di destinazione del set di dati in byte che verranno elaborati.

• BoundedFiles: numero (lungo).

  Imposta il limite superiore per il numero di file di destinazione che verranno elaborati.

• EnableSamplePath: booleano.

  Imposta l'opzione per abilitare un percorso di esempio.

• SamplePath: stringa UTF-8, corrispondente a Custom string pattern #42.

  Se abilitato, specifica il percorso di esempio.

Struttura S3 JsonSource

Specifica un archivio dati JSON in Amazon S3.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del archivio dati.

• Paths: obbligatorio: una matrice di stringhe UTF-8.

  Un elenco dei percorsi Amazon S3 da cui leggere.

• CompressionType: stringa UTF-8 (valori validi: gzip="GZIP" | bzip2="BZIP2").

  Specifica il modo in cui i dati sono compressi. In genere questo non è necessario se i dati hanno un'estensione del file standard. I valori possibili sono "gzip" e "bzip").

• Exclusions: una matrice di stringhe UTF-8.

  Una stringa contenente un elenco di JSON di modelli glob in stile Unix da escludere. Ad esempio "[\"**.pdf \"]" esclude tutti i file PDF.

• GroupSize: stringa UTF-8, corrispondente a Custom string pattern #42.

  La dimensione del gruppo di destinazione in byte. Il valore di default viene calcolato in base alla dimensione dei dati di input e alle dimensioni del cluster. Quando sono presenti meno di 50.000 file di input, "groupFiles" deve essere impostato su "inPartition" per rendere effettiva la modifica.

• GroupFiles: stringa UTF-8, corrispondente a Custom string pattern #42.

  Quando l'input contiene più di 50.000 file, il raggruppamento di file è attivato per impostazione predefinita. Per attivare il raggruppamento con meno di 50.000 file, imposta questo parametro su "inPartition". Per disabilitare il raggruppamento in presenza di più di 50.000 file, imposta il parametro su "none".

• Recurse: booleano.

  Se è impostato su "vero", legge i file in modo ricorsivo in tutte le sottodirectory dei percorsi specificati.

• MaxBand: numero (intero), non superiore a Nessuno.

  Questa opzione controlla la durata in millisecondi dopo la quale è probabile che l'elenco s3 sia coerente. I file con timestamp di modifica che rientrano negli ultimi millisecondi MaxBand vengono tracciati appositamente quando vengono utilizzati per tenere conto JobBookmarks della coerenza finale di Amazon S3. Per la maggior parte degli utenti non è necessario impostare questa opzione. Il valore di default è 900.000 millisecondi o 15 minuti.

• MaxFilesInBand: numero (intero), non superiore a Nessuno.

  Questa opzione specifica il numero massimo di file da salvare negli ultimi secondi maxBand. Se si supera questo valore, i file aggiuntivi vengono saltati e solo elaborati nella successiva esecuzione del processo.

• AdditionalOptions: un oggetto S3 DirectSourceAdditionalOptions.

  Specifica opzioni di connessione aggiuntive.

• JsonPath: stringa UTF-8, corrispondente a Custom string pattern #42.

  Una stringa che definisce i dati JSON. JsonPath

• Multiline: booleano.

  Un valore booleano che specifica se un singolo registro può estendersi su più righe. Ciò può accadere quando un campo contiene un carattere di nuova riga tra virgolette. Imposta questa opzione su "Vero" se un qualsiasi registro si estende su più righe. Il valore di default è False, che consente una divisione dei file più netta durante l'analisi.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine JSON S3 personalizzata.

Struttura S3 ParquetSource

Specifica un archivio dati di Apache Parquet archiviato in Amazon S3.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del archivio dati.

• Paths: obbligatorio: una matrice di stringhe UTF-8.

  Un elenco dei percorsi Amazon S3 da cui leggere.

• CompressionType: stringa UTF-8 (valori validi: snappy="SNAPPY" | lzo="LZO" | gzip="GZIP" | uncompressed="UNCOMPRESSED" | none="NONE").

  Specifica il modo in cui i dati sono compressi. In genere questo non è necessario se i dati hanno un'estensione del file standard. I valori possibili sono "gzip" e "bzip").

• Exclusions: una matrice di stringhe UTF-8.

  Una stringa contenente un elenco di JSON di modelli glob in stile Unix da escludere. Ad esempio "[\"**.pdf \"]" esclude tutti i file PDF.

• GroupSize: stringa UTF-8, corrispondente a Custom string pattern #42.

  La dimensione del gruppo di destinazione in byte. Il valore di default viene calcolato in base alla dimensione dei dati di input e alle dimensioni del cluster. Quando sono presenti meno di 50.000 file di input, "groupFiles" deve essere impostato su "inPartition" per rendere effettiva la modifica.

• GroupFiles: stringa UTF-8, corrispondente a Custom string pattern #42.

  Quando l'input contiene più di 50.000 file, il raggruppamento di file è attivato per impostazione predefinita. Per attivare il raggruppamento con meno di 50.000 file, imposta questo parametro su "inPartition". Per disabilitare il raggruppamento in presenza di più di 50.000 file, imposta il parametro su "none".

• Recurse: booleano.

  Se è impostato su "vero", legge i file in modo ricorsivo in tutte le sottodirectory dei percorsi specificati.

• MaxBand: numero (intero), non superiore a Nessuno.

  Questa opzione controlla la durata in millisecondi dopo la quale è probabile che l'elenco s3 sia coerente. I file con timestamp di modifica che rientrano negli ultimi millisecondi MaxBand vengono tracciati appositamente quando vengono utilizzati per tenere conto JobBookmarks della coerenza finale di Amazon S3. Per la maggior parte degli utenti non è necessario impostare questa opzione. Il valore di default è 900.000 millisecondi o 15 minuti.

• MaxFilesInBand: numero (intero), non superiore a Nessuno.

  Questa opzione specifica il numero massimo di file da salvare negli ultimi secondi maxBand. Se si supera questo valore, i file aggiuntivi vengono saltati e solo elaborati nella successiva esecuzione del processo.

• AdditionalOptions: un oggetto S3 DirectSourceAdditionalOptions.

  Specifica opzioni di connessione aggiuntive.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Parquet S3 personalizzata.

Struttura S3 DeltaSource

Specifica un'origine dati Delta Lake archiviata in. Amazon S3

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine del Delta Lake.

• Paths: obbligatorio: una matrice di stringhe UTF-8.

  Un elenco dei percorsi Amazon S3 da cui leggere.

• AdditionalDeltaOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica opzioni di connessione aggiuntive.

• AdditionalOptions: un oggetto S3 DirectSourceAdditionalOptions.

  Specifica opzioni aggiuntive per il connettore.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Delta Lake.

Struttura S3 CatalogDeltaSource

Speciifica un'origine dati Delta Lake registrata nel AWS Glue Data Catalog. L'origine dati deve essere archiviata in Amazon S3.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati Delta Lake.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

• AdditionalDeltaOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica opzioni di connessione aggiuntive.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Delta Lake.

CatalogDeltaSource struttura

Specifica un'origine dati Delta Lake registrata nel AWS Glue Data Catalog.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati Delta Lake.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

• AdditionalDeltaOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica opzioni di connessione aggiuntive.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Delta Lake.

Struttura S3 HudiSource

Specifica una fonte di dati Hudi memorizzata in. Amazon S3

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine Hudi.

• Paths: obbligatorio: una matrice di stringhe UTF-8.

  Un elenco dei percorsi Amazon S3 da cui leggere.

• AdditionalHudiOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica opzioni di connessione aggiuntive.

• AdditionalOptions: un oggetto S3 DirectSourceAdditionalOptions.

  Specifica opzioni aggiuntive per il connettore.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Hudi.

Struttura S3 CatalogHudiSource

Speciifica una fonte di dati Hudi registrata nel Data Catalog. AWS Glue L'origine dati Hudi deve essere archiviata in. Amazon S3

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati Hudi.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

• AdditionalHudiOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica opzioni di connessione aggiuntive.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Hudi.

CatalogHudiSource struttura

Specifica un'origine dati Hudi registrata nel AWS Glue Data Catalog.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati Hudi.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

• AdditionalHudiOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica opzioni di connessione aggiuntive.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per l'origine Hudi.

Struttura DynamoDB CatalogSource

Specifica un'origine dati DynamoDB nel Data Catalog. AWS Glue

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

RelationalCatalogSource struttura

Specifica un'origine dei dati del database relazionale nel Catalogo dati di AWS Glue .

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nel database da cui leggere.

struttura JDBC ConnectorTarget

Specifica una destinazioni di dati che scrive su Amazon S3 nell'archiviazione colonnare di Apache Parquet.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• ConnectionName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della connessione associata al connettore.

• ConnectionTable: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella nella destinazione di dati.

• ConnectorName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome di un connettore che verrà utilizzato.

• ConnectionType: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il tipo di connessione, come marketplace.jdbc o custom.jdbc, che designa una connessione a una destinazione di dati JDBC.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Opzioni di connessione aggiuntive per il connettore.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema dati per la destinazione JDBC.

SparkConnectorTarget struttura

Specifica una destinazione che utilizza un connettore Apache Spark.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• ConnectionName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome di una connessione per un connettore Apache Spark.

• ConnectorName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome di un connettore Apache Spark.

• ConnectionType: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il tipo di connessione, come marketplace.spark o custom.spark, che designa una connessione a un archivio dati di Apache Spark.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Opzioni di connessione aggiuntive per il connettore.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per la destinazione Spark personalizzata.

BasicCatalogTarget struttura

Speciifica una destinazione che utilizza una tabella del catalogo AWS Glue dati.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome della destinazione di dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il database che contiene la tabella da utilizzare come destinazione. Questo database deve esistere già nel catalogo dati.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  La tabella che definisce lo schema dei dati di output. Questa tabella deve esistere già nel Data Catalog.

Struttura MySQL CatalogTarget

Specifica una destinazione che utilizza MySQL.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

Struttura PostgreSQL CatalogTarget

Specifica una destinazione che utilizza Postgres SQL.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

Struttura OracleSQL CatalogTarget

Specifica una destinazione che utilizza Oracle SQL.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

Struttura Microsoft SQL ServerCatalogTarget

Specifica una destinazione che utilizza Microsoft SQL.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

RedshiftTarget struttura

Specifica una destinazione che utilizza Amazon Redshift.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

• RedshiftTmpDir: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il percorso Amazon S3 in cui i dati temporanei possono essere caricati durante la copia dal database.

• TmpDirIAMRole: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il ruolo IAM con autorizzazioni.

• UpsertRedshiftOptions: un oggetto UpsertRedshiftTargetOptions.

  Il set di opzioni per configurare un'operazione di upsert durante la scrittura su una destinazione Redshift.

AmazonRedshiftTarget struttura

Specifica una destinazione Amazon Redshift.

Campi

• Name: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome della tabella Amazon Redshift.

• Data: un oggetto AmazonRedshiftNodeData.

  Specifica i dati del nodo di destinazione Amazon Redshift.

• Inputs: un array di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

UpsertRedshiftTargetOptions struttura

Le opzioni per configurare un'operazione di upsert durante la scrittura su una destinazione Redshift.

Campi

• TableLocation: stringa UTF-8, corrispondente a Custom string pattern #42.

  La posizione fisica della tabella Redshift.

• ConnectionName: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della connessione da usare per scrivere su Redshift.

• UpsertKeys: una matrice di stringhe UTF-8.

  Le chiavi utilizzate per determinare se eseguire un aggiornamento o un inserimento.

struttura S3 CatalogTarget

Speciifica un target di dati che scrive su Amazon S3 utilizzando AWS Glue il Data Catalog.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys: una matrice di stringhe UTF-8.

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• SchemaChangePolicy: un oggetto CatalogSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

Struttura S3 GlueParquetTarget

Specifica una destinazioni di dati che scrive su Amazon S3 nell'archiviazione colonnare di Apache Parquet.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys: una matrice di stringhe UTF-8.

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Path: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Un singolo percorso Amazon S3 su cui scrivere.

• Compression: stringa UTF-8 (valori validi: snappy="SNAPPY" | lzo="LZO" | gzip="GZIP" | uncompressed="UNCOMPRESSED" | none="NONE").

  Specifica il modo in cui i dati sono compressi. In genere questo non è necessario se i dati hanno un'estensione del file standard. I valori possibili sono "gzip" e "bzip").

• SchemaChangePolicy: un oggetto DirectSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

CatalogSchemaChangePolicy struttura

Una policy che specifica i comportamenti di aggiornamento per il crawler.

Campi

• EnableUpdateCatalog: booleano.

  Stabilisce se usare il comportamento di aggiornamento quando il crawler riscontra una variazione dello schema.

• UpdateBehavior: stringa UTF-8 (valori validi: UPDATE_IN_DATABASE | LOG).

  Il comportamento di aggiornamento quando il crawler riscontra una variazione dello schema.

struttura S3 DirectTarget

Specifica una destinazione di dati che scrive su Amazon S3.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys: una matrice di stringhe UTF-8.

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Path: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Un singolo percorso Amazon S3 su cui scrivere.

• Compression: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il modo in cui i dati sono compressi. In genere questo non è necessario se i dati hanno un'estensione del file standard. I valori possibili sono "gzip" e "bzip").

• Format: obbligatorio: stringa UTF-8 (valori validi: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA").

  Specifica il formato di output dei dati per la destinazione.

• SchemaChangePolicy: un oggetto DirectSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

Struttura S3 HudiCatalogTarget

Specifica una destinazione che scrive su un'origine dati Hudi nel Data Catalog. AWS Glue

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys: una matrice di stringhe UTF-8.

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• AdditionalOptions: obbligatorio: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica le opzioni di connessione aggiuntive per il connettore.

• SchemaChangePolicy: un oggetto CatalogSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

Struttura S3 HudiDirectTarget

Speciifica una destinazione che scrive su una fonte di dati Hudi in. Amazon S3

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• Path: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il percorso Amazon S3 dell'origine dati Hudi su cui scrivere.

• Compression: obbligatorio: stringa UTF-8 (valori validi: gzip="GZIP" | lzo="LZO" | uncompressed="UNCOMPRESSED" | snappy="SNAPPY").

  Specifica il modo in cui i dati sono compressi. In genere questo non è necessario se i dati hanno un'estensione del file standard. I valori possibili sono "gzip" e "bzip").

• PartitionKeys: una matrice di stringhe UTF-8.

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Format: obbligatorio: stringa UTF-8 (valori validi: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA").

  Specifica il formato di output dei dati per la destinazione.

• AdditionalOptions: obbligatorio: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica le opzioni di connessione aggiuntive per il connettore.

• SchemaChangePolicy: un oggetto DirectSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

Struttura S3 DeltaCatalogTarget

Speciifica una destinazione che scrive su un'origine dati Delta Lake nel AWS Glue Data Catalog.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys: una matrice di stringhe UTF-8.

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica le opzioni di connessione aggiuntive per il connettore.

• SchemaChangePolicy: un oggetto CatalogSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

Struttura S3 DeltaDirectTarget

Speciifica una destinazione che scrive su un'origine dati Delta Lake in. Amazon S3

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys: una matrice di stringhe UTF-8.

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Path: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il percorso Amazon S3 dell'origine dati Delta Lake su cui scrivere.

• Compression: obbligatorio: stringa UTF-8 (valori validi: uncompressed="UNCOMPRESSED" | snappy="SNAPPY").

  Specifica il modo in cui i dati sono compressi. In genere questo non è necessario se i dati hanno un'estensione del file standard. I valori possibili sono "gzip" e "bzip").

• Format: obbligatorio: stringa UTF-8 (valori validi: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA").

  Specifica il formato di output dei dati per la destinazione.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica le opzioni di connessione aggiuntive per il connettore.

• SchemaChangePolicy: un oggetto DirectSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

DirectSchemaChangePolicy struttura

Una policy che specifica i comportamenti di aggiornamento per il crawler.

Campi

• EnableUpdateCatalog: booleano.

  Stabilisce se usare il comportamento di aggiornamento quando il crawler riscontra una variazione dello schema.

• UpdateBehavior: stringa UTF-8 (valori validi: UPDATE_IN_DATABASE | LOG).

  Il comportamento di aggiornamento quando il crawler riscontra una variazione dello schema.

• Table: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica la tabella nel database a cui si applica la policy di modifica dello schema.

• Database: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il database a cui si applica la policy di modifica dello schema.

ApplyMapping struttura

Specifica una trasformazione che mappa le chiavi delle proprietà dei dati nell'origine dei dati alle chiavi delle proprietà dei dati nella destinazione. È possibile rinominare le chiavi, modificare i tipi di dati per le chiavi e scegliere le chiavi da eliminare dal set di dati.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• Mapping: obbligatorio: una matrice di oggetti Mapping.

  Specifica la mappatura delle chiavi delle proprietà dei dati nell'origine dei dati alle chiavi delle proprietà dei dati nella destinazione.

Struttura mappatura

Specifica la mappatura delle chiavi della proprietà dati.

Campi

• ToKey: stringa UTF-8, corrispondente a Custom string pattern #42.

  Dopo l'applicazione della mappatura, quale dovrebbe essere il nome della colonna. Può coincidere con FromPath.

• FromPath: una matrice di stringhe UTF-8.

  La tabella o la colonna da modificare.

• FromType: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il tipo di dati da modificare.

• ToType: stringa UTF-8, corrispondente a Custom string pattern #42.

  Tipo di dati che devono essere modificati.

• Dropped: booleano.

  Se è true, la colonna viene rimossa.

• Children: una matrice di oggetti Mapping.

  Applicabile solo alle strutture dati nidificate. Se si desidera modificare la struttura padre, ma anche uno dei suoi figli, è possibile compilare questa struttura di dati. È anche Mapping, ma il suo FromPath sarà la struttura padre FromPath più il FromPath da questa struttura.

  Per la parte dei figli, supponiamo di avere la struttura:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

  Puoi specificare un Mapping con l'aspetto:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

SelectFields struttura

Specifica una trasformazione che sceglie le chiavi della proprietà dati che si desidera conservare.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• Paths: obbligatorio: una matrice di stringhe UTF-8.

  Un percorso JSON a una variabile nella struttura dati.

DropFields struttura

Specifica una trasformazione che sceglie le chiavi della proprietà dati che si desidera eliminare.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• Paths: obbligatorio: una matrice di stringhe UTF-8.

  Un percorso JSON a una variabile nella struttura dati.

RenameField struttura

Specifica una trasformazione che rinominerà una singola chiave di proprietà dati.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• SourcePath: obbligatorio: una matrice di stringhe UTF-8.

  Un percorso JSON a una variabile nella struttura dati per i dati di origine.

• TargetPath: obbligatorio: una matrice di stringhe UTF-8.

  Un percorso JSON a una variabile nella struttura dati per i dati di destinazione.

Struttura Spigot

Specifica una trasformazione che scrive campioni dei dati in un bucket Amazon S3.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• Path: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Un percorso in Amazon S3 dove la trasformazione scriverà un sottoinsieme di registri dal set di dati in un file JSON in un bucket Amazon S3.

• Topk: numero (intero), non superiore a 100.

  Specifica un numero di registri da scrivere a partire dall'inizio del set di dati.

• Prob: numero (doppio), non superiore a 1.

  La probabilità (un valore decimale con un valore massimo di 1) di scegliere un determinato registro. Il valore 1 indica che ogni riga letta dal set di dati deve essere inclusa nell'output del campione.

Struttura join

Specifica una trasformazione che unisce due set di dati in un unico set di dati utilizzando una frase di confronto sulle chiavi di proprietà dei dati specificate. È possibile utilizzare inner, outer, left, right, left semi e left anti join.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore a o superiore a 2 stringhe.

  Gli input di dati identificati dai nomi dei nodi.

• JoinType: obbligatorio:: stringa UTF-8 (valori validi: equijoin="EQUIJOIN" | left="LEFT" | right="RIGHT" | outer="OUTER" | leftsemi="LEFT_SEMI" | leftanti="LEFT_ANTI").

  Specifica il tipo di join da eseguire sui set di dati.

• Columns: obbligatorio: una matrice di oggetti JoinColumn, non inferiore a o superiore a 2 strutture.

  Un elenco delle due colonne da unire.

JoinColumn struttura

Specifica una colonna da unire.

Campi

• From: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  La colonna da unire.

• Keys: obbligatorio: una matrice di stringhe UTF-8.

  La chiave della colonna da unire.

SplitFields struttura

Specifica una trasformazione che divide le chiavi della proprietà dati in due DynamicFrames. L'output è una raccolta di DynamicFrames: uno con le chiavi di proprietà dei dati selezionate e uno con le chiavi di proprietà dei dati rimanenti.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• Paths: obbligatorio: una matrice di stringhe UTF-8.

  Un percorso JSON a una variabile nella struttura dati.

SelectFromCollection struttura

Specifica una trasformazione che sceglie un DynamicFrame da una raccolta di DynamicFrames. L'output è il DynamicFrame selezionato

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• Index. Obbligatorio: numero (intero), non superiore a Nessuno.

  L'indice per il DynamicFrame da selezionare.

FillMissingValues struttura

Specifica una trasformazione che individua i registri nel set di dati che hanno valori mancanti e aggiunge un nuovo campo con un valore determinato dall'imputazione. Il set di dati di input viene utilizzato per addestrare il modello di machine learning che determina quale dovrebbe essere il valore mancante.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• ImputedPath: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Un percorso JSON a una variabile nella struttura dati per il set di dati imputato.

• FilledPath: stringa UTF-8, corrispondente a Custom string pattern #42.

  Un percorso JSON a una variabile nella struttura dati per il set di dati compilato.

Struttura filtro

Specifica una trasformazione che divide un set di dati in due, in base a una condizione di filtro.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• LogicalOperator: obbligatorio: stringa UTF-8 (valori validi: AND | OR).

  L'operatore utilizzato per filtrare le righe confrontando il valore chiave con un valore specificato.

• Filters: obbligatorio: una matrice di oggetti FilterExpression.

  Specifica un'espressione di filtro.

FilterExpression struttura

Specifica un'espressione di filtro.

Campi

• Operation: obbligatorio: stringa UTF-8 (valori validi: EQ | LT | GT | LTE | GTE | REGEX | ISNULL).

  Tipo di operazione da eseguire nell'espressione.

• Negated: booleano.

  Se l'espressione deve essere negata.

• Values: obbligatorio: una matrice di oggetti FilterValue.

  Un elenco di valori di filtro.

FilterValue struttura

Rappresenta un'unica voce nell'elenco di valori di un FilterExpression.

Campi

• Type: obbligatorio: stringa UTF-8 (valori validi: COLUMNEXTRACTED | CONSTANT).

  Il tipo di valore del filtro.

• Value: obbligatorio: una matrice di stringhe UTF-8.

  Il valore da associare.

CustomCode struttura

Specifica una trasformazione che utilizza il codice personalizzato fornito per eseguire la trasformazione dei dati. L'output è una raccolta di DynamicFrames.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, almeno 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• Code: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #35.

  Il codice personalizzato utilizzato per eseguire la trasformazione dei dati.

• ClassName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome definito per la classe del nodo di codice personalizzato.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per la trasformazione del codice personalizzata.

Struttura SparkSQL

Specifica una trasformazione in cui si inserisce una query SQL utilizzando la sintassi Spark SQL per trasformare i dati. L'output è un singolo DynamicFrame.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, almeno 1 stringa.

  Gli input di dati identificati dai nomi dei nodi. È possibile associare un nome di tabella a ciascun nodo di input da utilizzare nella query SQL. Il nome scelto deve soddisfare le restrizioni sui nomi di Spark SQL.

• SqlQuery: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #43.

  Query SQL che deve utilizzare la sintassi Spark SQL e restituire un singolo set di dati.

• SqlAliases: obbligatorio: una matrice di oggetti SqlAlias.

  Un elenco di alias. Un alias permette di specificare il nome da utilizzare nell'SQL per un determinato input. Ad esempio, hai una fonte di dati denominata "»MyDataSource. Se specifichi From as MyDataSource e Alias as SqlName, nel tuo SQL puoi fare:

  select * from SqlName

  e che ottiene dati da MyDataSource.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per la trasformazione SparkSQL.

SqlAlias struttura

Rappresenta un'unica voce nell'elenco di valori per SqlAliases.

Campi

• From: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #41.

  Una tabella o una colonna in una tabella.

• Alias: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Un nome temporaneo dato a una tabella o a una colonna in una tabella.

DropNullFields struttura

Specifica una trasformazione che rimuove le colonne dal set di dati se tutti i valori nella colonna sono “null”. Per impostazione predefinita, AWS Glue Studio riconosce gli oggetti nulli, ma alcuni valori come stringhe vuote, stringhe «nulle», numeri interi -1 o altri segnaposto come gli zeri, non vengono riconosciuti automaticamente come nulli.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• NullCheckBoxList: un oggetto NullCheckBoxList.

  Struttura che indica se determinati valori siano riconosciuti come valori nulli per la rimozione.

• NullTextList: una matrice di oggetti NullValueField, non superiore a 50 strutture.

  Una struttura che specifica un elenco di NullValueField strutture che rappresentano un valore nullo personalizzato come zero o un altro valore utilizzato come segnaposto nullo unico per il set di dati.

  La trasformazione DropNullFields rimuove i valori nulli personalizzati solo se sia il valore del segnaposto null che il tipo di dati corrispondono ai dati.

NullCheckBoxList struttura

Indica se alcuni valori siano riconosciuti come valori nulli per la rimozione.

Campi

• IsEmpty: booleano.

  Specifica che una stringa vuota è considerata un valore nullo.

• IsNullString: booleano.

  Specifica che un valore che indica la parola “null” è considerato un valore nullo.

• IsNegOne: booleano.

  Specifica che un valore intero di -1 è considerato un valore nullo.

NullValueField struttura

Rappresenta un valore nullo personalizzato, ad esempio uno zero o un altro valore utilizzato come segnaposto nullo univoco per il set di dati.

Campi

• Value: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il valore del segnaposto nullo.

• Datatype: obbligatorio: un oggetto DataType.

  Il tipo di dati del valore.

Struttura Datatype

Struttura che rappresenta il tipo di dati del valore.

Campi

• Id: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #41.

  Il tipo di dati del valore.

• Label: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #41.

  Etichetta assegnata al tipo di dati.

Struttura Merge

Specifica una trasformazione che unisce DynamicFrame a con un DynamicFrame di staging basato sulle chiavi primarie specificate per identificare i registri. I registri duplicati (registri con le stesse chiavi primarie) non vengono deduplicati.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore a o superiore a 2 stringhe.

  Gli input di dati identificati dai nomi dei nodi.

• Source: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #41.

  L'origine DynamicFrame che sarà unita a DynamicFrame di staging.

• PrimaryKeys: obbligatorio: una matrice di stringhe UTF-8.

  L'elenco dei campi chiave primaria per abbinare i registri dall'origine e dai frame dinamici di staging.

Struttura unione

Specifica una trasformazione che combina le righe di due o più set di dati in un unico risultato.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore a o superiore a 2 stringhe.

  L'ID del nodo immette la trasformazione.

• UnionType: obbligatorio: stringa UTF-8 (valori validi: ALL | DISTINCT).

  Indica il tipo di trasformazione Union.

  ALLSpecificare di unire tutte le righe dalle fonti di dati a quelle risultanti DynamicFrame. L'unione risultante non rimuove le righe duplicate.

  DISTINCTSpecificare di rimuovere le righe duplicate nel risultato DynamicFrame.

Struttura PIIDetection

Specifica una trasformazione che identifica, rimuove o maschera i dati PII.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  L'ID del nodo immette la trasformazione.

• PiiType: obbligatorio: stringa UTF-8 (valori validi: RowAudit | RowMasking | ColumnAudit | ColumnMasking).

  Indica il tipo di trasformazione PIIDetection.

• EntityTypesToDetect: obbligatorio: una matrice di stringhe UTF-8.

  Indica i tipi di entità che la trasformazione PIIDetection identificherà come dati PII.

  Le entità di tipo PII includono: PERSON_NAME, DATE, USA_SNN, EMAIL, USA_ITIN, USA_PASSPORT_NUMBER, PHONE_NUMBER, BANK_ACCOUNT, IP_ADDRESS, MAC_ADDRESS, USA_CPT_CODE, USA_HCPCS_CODE, USA_NATIONAL_DRUG_CODE, USA_MEDICARE_BENEFICIARY_IDENTIFIER, USA_HEALTH_INSURANCE_CLAIM_NUMBER,CREDIT_CARD,USA_NATIONAL_PROVIDER_IDENTIFIER,USA_DEA_NUMBER,USA_DRIVING_LICENSE

• OutputColumnName: stringa UTF-8, corrispondente a Custom string pattern #42.

  Indica il nome della colonna di output che conterrà qualsiasi tipo di entità rilevato in quella riga.

• SampleFraction: numero (doppio), non superiore a 1.

  Indica la frazione dei dati da campionare durante la scansione di entità PII.

• ThresholdFraction: numero (doppio), non superiore a 1.

  Indica la frazione dei dati che devono essere soddisfatti per identificare una colonna come dati PII.

• MaskValue: stringa UTF-8, non superiore a 256 byte di lunghezza, corrispondente a Custom string pattern #39.

  Indica il valore che sostituirà l'entità rilevata.

Struttura aggregata

Specifica una trasformazione che raggruppa le righe in base ai campi scelti e calcola il valore aggregato in base alla funzione specificata.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Specifica i campi e le righe da utilizzare come input per la trasformazione aggregata.

• Groups: obbligatorio: una matrice di stringhe UTF-8.

  Specifica i campi in base ai quali raggruppare.

• Aggs – Obbligatorio: una matrice di oggetti AggregateOperation, non meno di 1 o più di 30 strutture.

  Specifica le funzioni di aggregazione da eseguire su campi specificati.

DropDuplicates struttura

Specifica una trasformazione che rimuove le righe di dati ripetuti da un set di dati.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di trasformazione.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input di dati identificati dai nomi dei nodi.

• Columns: una matrice di stringhe UTF-8.

  Il nome delle colonne da unire o rimuovere in caso di ripetizione.

GovernedCatalogTarget struttura

Speciifica un target di dati che scrive su Amazon S3 utilizzando AWS Glue il Data Catalog.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome di destinazione dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys: una matrice di stringhe UTF-8.

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome della tabella del database in cui scrivere.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il nome del database in cui scrivere.

• SchemaChangePolicy: un oggetto CatalogSchemaChangePolicy.

  Una policy che specifica il comportamento di aggiornamento per il catalogo governato.

GovernedCatalogSource struttura

Speciifica l'archivio dati nel AWS Glue Data Catalog governato.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del archivio dati.

• Database: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il database da cui leggere.

• Table: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  La tabella del database da cui leggere.

• PartitionPredicate: stringa UTF-8, corrispondente a Custom string pattern #42.

  Le partizioni che soddisfano questo predicato vengono eliminate. I file all'interno del periodo di conservazione in queste partizioni non vengono eliminati. Impostato su "": vuoto per impostazione predefinita.

• AdditionalOptions: un oggetto S3 SourceAdditionalOptions.

  Specifica opzioni di connessione aggiuntive.

AggregateOperation struttura

Specifica il set di parametri necessari per eseguire l'aggregazione nella trasformazione di aggregazione.

Campi

• Column: obbligatorio: una matrice di stringhe UTF-8.

  Specifica la colonna sul set di dati su cui verrà applicata la funzione di aggregazione.

• AggFunc – Obbligatorio: stringa UTF-8 (valori validi:avg | countDistinct | count | first | last | kurtosis | max | min | skewness | stddev_samp | stddev_pop | sum | sumDistinct | var_samp | var_pop).

  Specifica la funzione di aggregazione da applicare.

  Le possibili funzioni di aggregazione includono: avg countDistinct, count, first, last, kurtosis, max, min, skewness, stddev_samp, stddev_pop, sum, sumDistinct, var_samp, var_pop

GlueSchema struttura

Specifica uno schema definito dall'utente quando uno schema non può essere determinato da AWS Glue.

Campi

• Columns: una matrice di oggetti GlueStudioSchemaColumn.

  Specifica le definizioni delle colonne che compongono uno AWS Glue schema.

GlueStudioSchemaColumn struttura

Specifica una singola colonna in una definizione AWS Glue dello schema.

Campi

• Name – Obbligatorio: stringa UTF-8, non più lunga di 1024 byte, corrispondente al Single-line string pattern.

  Il nome della colonna nello schema di AWS Glue Studio.

• Type: stringa UTF-8, non superiore a 131072 byte di lunghezza, corrispondente a Single-line string pattern.

  Il tipo di hive per questa colonna nello schema di AWS Glue Studio.

GlueStudioColumn struttura

Specifica una singola colonna in AWS Glue Studio.

Campi

• Key: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  La chiave della colonna in AWS Glue Studio.

• FullPath: obbligatorio: una matrice di stringhe UTF-8.

  L'URL completo della colonna in AWS Glue Studio.

• Type – Obbligatorio: stringa UTF-8 (valori validi: array="ARRAY" | bigint="BIGINT" | bigint array="BIGINT_ARRAY" | binary="BINARY" | binary array="BINARY_ARRAY" | boolean="BOOLEAN" | boolean array="BOOLEAN_ARRAY" | byte="BYTE" | byte array="BYTE_ARRAY" | char="CHAR" | char array="CHAR_ARRAY" | choice="CHOICE" | choice array="CHOICE_ARRAY" | date="DATE" | date array="DATE_ARRAY" | decimal="DECIMAL" | decimal array="DECIMAL_ARRAY" | double="DOUBLE" | double array="DOUBLE_ARRAY" | enum="ENUM" | enum array="ENUM_ARRAY" | float="FLOAT" | float array="FLOAT_ARRAY" | int="INT" | int array="INT_ARRAY" | interval="INTERVAL" | interval array="INTERVAL_ARRAY" | long="LONG" | long array="LONG_ARRAY" | object="OBJECT" | short="SHORT" | short array="SHORT_ARRAY" | smallint="SMALLINT" | smallint array="SMALLINT_ARRAY" | string="STRING" | string array="STRING_ARRAY" | timestamp="TIMESTAMP" | timestamp array="TIMESTAMP_ARRAY" | tinyint="TINYINT" | tinyint array="TINYINT_ARRAY" | varchar="VARCHAR" | varchar array="VARCHAR_ARRAY" | null="NULL" | unknown="UNKNOWN" | unknown array="UNKNOWN_ARRAY").

  Il tipo di colonna in AWS Glue Studio.

• Children: un array di strutture.

  I figli della colonna principale in AWS Glue Studio.

DynamicTransform struttura

Specifica il set di parametri necessari per eseguire la trasformazione dinamica.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il nome della trasformazione dinamica.

• TransformName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Speciifica il nome della trasformazione dinamica così come appare nell'editor visivo di AWS Glue Studio.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Specifica gli input necessari per la trasformazione dinamica.

• Parameters: una matrice di oggetti TransformConfigParameter.

  Specifica i parametri della trasformazione dinamica.

• FunctionName: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il nome della funzione della trasformazione dinamica.

• Path: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il percorso dei file sorgente e di configurazione della trasformazione dinamica.

• Version: stringa UTF-8, corrispondente a Custom string pattern #42.

  Questo campo non è utilizzato e verrà dichiarato obsoleto in una versione futura.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per la trasformazione dinamica.

TransformConfigParameter struttura

Specifica i parametri nel file di configurazione della trasformazione dinamica.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il nome del parametro nel file di configurazione della trasformazione dinamica.

• Type: obbligatorio: stringa UTF-8 (valori validi: str="STR" | int="INT" | float="FLOAT" | complex="COMPLEX" | bool="BOOL" | list="LIST" | null="NULL").

  Specifica il tipo di parametro nel file di configurazione della trasformazione dinamica.

• ValidationRule: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica la regola di convalida nel file di configurazione della trasformazione dinamica.

• ValidationMessage: stringa UTF-8, corrispondente a Custom string pattern #42.

  Specifica il messaggio di convalida nel file di configurazione della trasformazione dinamica.

• Value: una matrice di stringhe UTF-8.

  Specifica il valore del parametro nel file di configurazione della trasformazione dinamica.

• ListType: stringa UTF-8 (valori validi: str="STR" | int="INT" | float="FLOAT" | complex="COMPLEX" | bool="BOOL" | list="LIST" | null="NULL").

  Specifica il tipo di elenco del parametro nel file di configurazione della trasformazione dinamica.

• IsOptional: booleano.

  Specifica se il parametro è facoltativo o meno nel file di configurazione della trasformazione dinamica.

EvaluateDataQuality struttura

Specifica i criteri di valutazione della qualità dei dati.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome della valutazione della qualità dei dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  Gli input della valutazione della qualità dei dati.

• Ruleset: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 65.536 byte di lunghezza, corrispondente a Custom string pattern #40.

  Il set di regole per la valutazione della qualità dei dati.

• Output: stringa UTF-8 (valori validi: PrimaryInput | EvaluationResults).

  L'output della valutazione della qualità dei dati.

• PublishingOptions: un oggetto DQ ResultsPublishingOptions.

  Opzioni per configurare la modalità di pubblicazione dei risultati.

• StopJobOnFailureOptions: un oggetto DQ StopJobOnFailureOptions.

  Opzioni per configurare come si interromperà il processo se la valutazione della qualità dei dati fallisce.

struttura DQ ResultsPublishingOptions

Opzioni per configurare la modalità di pubblicazione dei risultati della valutazione della qualità dei dati.

Campi

• EvaluationContext: stringa UTF-8, corrispondente a Custom string pattern #41.

  Il contesto della valutazione.

• ResultsS3Prefix: stringa UTF-8, corrispondente a Custom string pattern #42.

  Il prefisso Amazon S3 aggiunto all'inizio dei risultati.

• CloudWatchMetricsEnabled: booleano.

  Abilita i parametri per i risultati della qualità dei dati.

• ResultsPublishingEnabled: booleano.

  Abilita la pubblicazione per i risultati della qualità dei dati.

Struttura DQ StopJobOnFailureOptions

Opzioni per configurare come si interromperà il processo se la valutazione della qualità dei dati fallisce.

Campi

• StopJobOnFailureTiming: stringa UTF-8 (valori validi: Immediate | AfterDataLoad).

  Quando interrompere il processo se la valutazione della qualità dei dati fallisce. Le opzioni sono Immediate o AfterDataLoad.

EvaluateDataQualityMultiFrame struttura

Specifica i criteri di valutazione della qualità dei dati.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome della valutazione della qualità dei dati.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, almeno 1 stringa.

  Gli input della valutazione della qualità dei dati. Il primo input in questo elenco è l'origine dati primaria.

• AdditionalDataSources: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #44.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Gli alias di tutte le origini dati, tranne quella primaria.

• Ruleset: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 65.536 byte di lunghezza, corrispondente a Custom string pattern #40.

  Il set di regole per la valutazione della qualità dei dati.

• PublishingOptions: un oggetto DQ ResultsPublishingOptions.

  Opzioni per configurare la modalità di pubblicazione dei risultati.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 (valori validi: performanceTuning.caching="CacheOption" | observations.scope="ObservationsOption").

  Ogni valore è una stringa UTF-8.

  Opzioni per configurare il comportamento di runtime della trasformazione.

• StopJobOnFailureOptions: un oggetto DQ StopJobOnFailureOptions.

  Opzioni per configurare come si interromperà il processo se la valutazione della qualità dei dati fallisce.

Struttura Recipe

Un nodo AWS Glue Studio che utilizza una AWS Glue DataBrew ricetta nei AWS Glue lavori.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo AWS Glue Studio.

• Inputs: obbligatorio: una matrice di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che costituiscono gli input del nodo della ricetta, identificati dal rispettivo ID.

• RecipeReference: un oggetto RecipeReference.

  Un riferimento alla DataBrew ricetta usata dal nodo.

• RecipeSteps: una matrice di oggetti RecipeStep.

  I passaggi di trasformazione utilizzati nel nodo ricetta.

RecipeReference struttura

Un riferimento a una AWS Glue DataBrew ricetta.

Campi

• RecipeArn: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  L'ARN della ricetta. DataBrew

• RecipeVersion: obbligatorio: stringa UTF-8, lunghezza non inferiore a 1 o non superiore a 16 byte.

  L' RecipeVersion origine della DataBrew ricetta.

SnowflakeNodeData struttura

Specifica la configurazione per i nodi Snowflake in Studio. AWS Glue

Campi

• SourceType: stringa UTF-8, corrispondente a Custom string pattern #41.

  Specifica come vengono specificati i dati recuperati. Valori validi: "table", "query".

• Connection: un oggetto Opzione.

  Specifica una connessione al catalogo AWS Glue dati a un endpoint Snowflake.

• Schema: stringa UTF-8.

  Specifica uno schema di database Snowflake da utilizzare per il nodo.

• Table: stringa UTF-8.

  Specifica una tabella Snowflake da utilizzare per il nodo.

• Database: stringa UTF-8.

  Specifica un database Snowflake da utilizzare per il nodo.

• TempDir: stringa UTF-8, corrispondente a Custom string pattern #42.

  Attualmente non utilizzato.

• IamRole: un oggetto Opzione.

  Attualmente non utilizzato.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Ogni valore è una stringa UTF-8 corrispondente al Custom string pattern #42.

  Specifica le opzioni aggiuntive trasmesse al connettore Snowflake. Se altre opzioni sono specificate altrove in questo nodo, esse avranno la precedenza.

• SampleQuery: stringa UTF-8.

  Una stringa SQL utilizzata per recuperare i dati con il tipo di origine query.

• PreAction: stringa UTF-8.

  Una stringa SQL eseguita prima che il connettore Snowflake esegua le operazioni standard.

• PostAction: stringa UTF-8.

  Una stringa SQL eseguita dopo che il connettore Snowflake esegua le operazioni standard.

• Action: stringa UTF-8.

  Specifica l'operazione da intraprendere quando si scrive su una tabella con dati preesistenti. Valori validi: append, merge, truncate, drop.

• Upsert: booleano.

  Utilizzato quando Operazione è append. Specifica il comportamento di risoluzione quando esiste già una riga. Se impostato su true, le righe preesistenti verranno aggiornate. Se false, verranno inserite quelle righe.

• MergeAction: stringa UTF-8, corrispondente a Custom string pattern #41.

  Specifica un'operazione di unione. Valori validi: simple, custom. Se semplice, il comportamento di unione è definito da MergeWhenMatched e MergeWhenNotMatched. Se personalizzato, definito da MergeClause.

• MergeWhenMatched: stringa UTF-8, corrispondente a Custom string pattern #41.

  Specifica come risolvere i record che corrispondono a dati preesistenti durante l'unione. Valori validi: update, delete.

• MergeWhenNotMatched: stringa UTF-8, corrispondente a Custom string pattern #41.

  Specifica come elaborare i record che non corrispondono a dati preesistenti durante l'unione. Valori validi: insert, none.

• MergeClause: stringa UTF-8.

  Un'istruzione SQL che specifica un comportamento di merge personalizzato.

• StagingTable: stringa UTF-8.

  Il nome di una tabella intermedia utilizzata durante le operazioni merge o append con upsert. I dati vengono scritti in questa tabella, quindi spostati in table da un'azione successiva (PostAction) generata.

• SelectedColumns: una matrice di oggetti Opzione.

  Specifica le colonne combinate per identificare un record quando vengono rilevate corrispondenze per i merge e gli upsert. Un elenco di strutture con chiavi value, label e description. Ogni struttura descrive una colonna.

• AutoPushdown: booleano.

  Specifica se il pushdown automatico delle query è abilitato. Se il pushdown è abilitato, quando su Spark viene eseguita una query, se una parte di essa può essere "trasferita" al server Snowflake, viene sottoposta a pushdown. Ciò migliora le prestazioni di alcune query.

• TableSchema: una matrice di oggetti Opzione.

  Definisce manualmente lo schema di destinazione per il nodo. Un elenco di strutture con chiavi value, label e description. Ogni struttura definisce una colonna.

SnowflakeSource struttura

Specifica un'origine dati Snowflake.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome dell'origine dati Snowflake.

• Data: obbligatorio: un oggetto SnowflakeNodeData.

  Configurazione per l'origine dati Snowflake.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica gli schemi definiti dall'utente per i dati di output.

SnowflakeTarget struttura

Specifica una destinazione Snowflake.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome della destinazione Snowflake.

• Data: obbligatorio: un oggetto SnowflakeNodeData.

  Specifica i dati del nodo di destinazione Snowflake.

• Inputs: un array di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

ConnectorDataSource struttura

Specifica un'origine generata con opzioni di connessione standard.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di origine.

• ConnectionType: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  IlconnectionType, come fornito alla AWS Glue libreria sottostante. Il tipo di nodo supporta i tipi di connessione seguenti:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data: obbligatorio: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8.

  Ogni valore è una stringa UTF-8.

  Una mappa che specifica le opzioni di connessione per il nodo. È possibile trovare le opzioni di connessione standard per il tipo di connessione corrispondente nella sezione Parametri di connessione della AWS Glue documentazione.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per questa origine.

ConnectorDataTarget struttura

Specifica un a destinazione generata con opzioni di connessione standard.

Campi

• Name: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #44.

  Il nome del nodo di destinazione.

• ConnectionType: obbligatorio: stringa UTF-8, corrispondente a Custom string pattern #42.

  IlconnectionType, come fornito alla AWS Glue libreria sottostante. Il tipo di nodo supporta i tipi di connessione seguenti:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data: obbligatorio: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8.

  Ogni valore è una stringa UTF-8.

  Una mappa che specifica le opzioni di connessione per il nodo. È possibile trovare le opzioni di connessione standard per il tipo di connessione corrispondente nella sezione Parametri di connessione della AWS Glue documentazione.

• Inputs: un array di stringhe UTF-8, non inferiore o superiore a 1 stringa.

  I nodi che sono input per la destinazione di dati.

RecipeStep struttura

Una fase della ricetta utilizzata in un nodo di ricetta per la preparazione dei dati di AWS Glue Studio.

Campi

• Action: obbligatorio: un oggetto RecipeAction.

  L'azione di trasformazione della fase della ricetta.

• ConditionExpressions: una matrice di oggetti ConditionExpression.

  Le espressioni delle condizioni per la fase della ricetta.

RecipeAction struttura

Azioni definite nel nodo della ricetta di preparazione dei dati di AWS Glue Studio.

Campi

• Operation: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza, corrispondente a Custom string pattern #37.

  Il funzionamento dell'azione della ricetta.

• Parameters: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza, corrispondente a Custom string pattern #38.

  Ogni valore è una stringa UTF-8, lunga non meno di 1 o più di 32768 byte.

  I parametri dell'azione della ricetta.

ConditionExpression struttura

Espressione della condizione definita nel nodo della ricetta di preparazione dei dati di AWS Glue Studio.

Campi

• Condition: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza, corrispondente a Custom string pattern #37.

  La condizione dell'espressione della condizione.

• Value— Stringa UTF-8, lunga non più di 1024 byte.

  Il valore dell'espressione della condizione.

• TargetColumn— Obbligatoria: stringa UTF-8, lunga non meno di 1 o più di 1024 byte.

  La colonna di destinazione delle espressioni condizionali.