Esecuzioni di processi

The Jobs API Runs descrive i tipi di dati API relativi all'avvio, all'arresto o alla visualizzazione delle esecuzioni di processi e alla reimpostazione dei segnalibri dei processi, in AWS Glue. La cronologia di esecuzione dei lavori è accessibile per 90 giorni per il flusso di lavoro e l'esecuzione dei lavori.

Tipi di dati

• JobRun struttura

• Struttura Predecessor

• JobBookmarkEntry struttura

• BatchStopJobRunSuccessfulSubmission struttura

• BatchStopJobRunError struttura

• NotificationProperty struttura

JobRun struttura

Contiene informazioni su una esecuzione di processo.

Campi

• Id— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di questa esecuzione di processo.

• Attempt: numero (intero).

  Il numero di tentativi di esecuzione di questo processo.

• PreviousRunId— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID dell'esecuzione precedente di questo processo. Ad esempio, il JobRunId specificato nell'operazione StartJobRun.

• TriggerName— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del trigger che ha avviato questa esecuzione progetto.

• JobName— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome della definizione di processo in uso in questa esecuzione.

• JobMode— UTF -8 stringhe (valori validi: SCRIPT="" | VISUAL="" |NOTEBOOK="").

  Una modalità che descrive come è stato creato un lavoro. I valori validi sono:

  • SCRIPT- Il lavoro è stato creato utilizzando AWS Glue Editor di script da studio.

  • VISUAL- Il lavoro è stato creato utilizzando AWS Glue Editor visivo di Studio.

  • NOTEBOOK- Il lavoro è stato creato utilizzando un taccuino con sessioni interattive.

  Quando il JobMode campo è mancante o nullo, SCRIPT viene assegnato come valore predefinito.

• JobRunQueuingEnabled: booleano.

  Speciifica se l'accodamento dei job run è abilitato per l'esecuzione del job.

  Il valore true indica che l'accodamento dell'esecuzione del processo è abilitato per l'esecuzione del processo. Se false o non è compilato, il job run non verrà preso in considerazione per l'accodamento.

• StartedOn: timestamp.

  La data e ora in cui questa esecuzione di processo è stata avviata.

• LastModifiedOn: timestamp.

  L'ultima volta in cui questa esecuzione di processo è stata modificata.

• CompletedOn: timestamp.

  La data e ora in cui questa elaborazione di processo è stata completata.

• JobRunState— UTF -8 stringhe (valori validi: STARTING | | RUNNING | STOPPING | | STOPPED | SUCCEEDED | FAILED | TIMEOUT ERROR |WAITING). EXPIRED

  Lo stato attuale del processo eseguito. Per ulteriori informazioni sullo stato dei lavori terminati in modo anomalo, vedere AWS Glue Stati Job Run.

• Arguments: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa di UTF -8.

  Ogni valore è una stringa di UTF -8.

  Gli argomenti del processo associati a questa esecuzione. Per questa esecuzione di processo, sostituiscono gli argomenti predefiniti impostati nella definizione del processo stessa.

  Qui è possibile specificare gli argomenti utilizzati dal proprio script di esecuzione del lavoro, nonché gli argomenti che AWS Glue consuma esso stesso.

  Gli argomenti del processo potrebbero essere registrati. Non passare segreti in testo chiaro come argomenti. Recupera segreti da un AWS Glue Connessione, AWS Secrets Manager o altro meccanismo di gestione segreto se intendi mantenerli all'interno del Job.

  Per informazioni su come specificare e utilizzare i propri argomenti Job, vedere Calling AWS Glue APIsnell'argomento Python nella guida per gli sviluppatori.

  Per informazioni sugli argomenti che puoi fornire a questo campo durante la configurazione dei job Spark, consulta i Parametri speciali usati da AWS Glueargomento nella guida per gli sviluppatori.

  Per informazioni sugli argomenti che puoi fornire a questo campo durante la configurazione dei processi Ray, consulta la pagina Using job parameters in Ray jobs nella Guida per gli sviluppatori.

• ErrorMessage— UTF -8 corde.

  Un messaggio di errore associato a questa esecuzione di processo.

• PredecessorRuns: una matrice di oggetti Predecessor.

  Un elenco di predecessori di questa esecuzione di processo.

• AllocatedCapacity: numero (intero).

  in quanto obsoleto. Usare invece MaxCapacity.

  Il numero di AWS Glue unità di elaborazione dati (DPUs) assegnate a questo JobRun scopo. DPUsÈ possibile allocare da 2 a 100; l'impostazione predefinita è 10. A DPU è una misura relativa della potenza di elaborazione costituita dal 4% della capacità vCPUs di elaborazione e da 16 GB di memoria. Per ulteriori informazioni, consultare la .AWS Glue pagina dei prezzi.

• ExecutionTime: numero (intero).

  Quantità di tempo (in secondi) durante cui l'esecuzione del processo ha utilizzato le risorse.

• Timeout: numero (intero), almeno 1.

  Timeout di JobRun (in minuti). Indica il tempo massimo durante cui l'esecuzione di un processo può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Questo valore sostituisce il valore di timeout impostato nel processo padre.

  I lavori di streaming devono avere valori di timeout inferiori a 7 giorni o 10080 minuti. Se il valore viene lasciato vuoto, il processo verrà riavviato dopo 7 giorni, a seconda che non sia stata impostata una finestra di manutenzione. Se si dispone di una finestra di manutenzione di configurazione, questa verrà riavviata durante la finestra di manutenzione dopo 7 giorni.

• MaxCapacity: numero (doppio).

  Per i lavori di Glue versione 1.0 o precedente, utilizzando il tipo di worker standard, il numero di AWS Glue unità di elaborazione dati (DPUs) che possono essere allocate durante l'esecuzione di questo processo. A DPU è una misura relativa della potenza di elaborazione costituita dal 4% della capacità vCPUs di elaborazione e da 16 GB di memoria. Per ulteriori informazioni, consultare la .AWS Glue pagina dei prezzi.

  Per i processi Glue versione 2.0 e successive, non è possibile specificare il valore Maximum capacity. Si deve invece specificare un Worker type e un Number of workers.

  Non impostare MaxCapacity se usi WorkerType e NumberOfWorkers.

  Il valore per cui è possibile allocare MaxCapacity dipende dal fatto che stiate eseguendo un job di shell Python, un job Apache Spark o un job di streaming Apache ETL Spark: ETL

  • Quando si specifica un job della shell Python (JobCommand.Name="pythonshell»), è possibile allocare 0,0625 o 1. DPU L'DPUimpostazione predefinita è 0,0625.

  • Quando specificate un job Apache Spark (JobCommand.Name="glueetl») o un ETL job di streaming Apache Spark (JobCommand.Name="gluestreaming»), potete allocare da ETL 2 a 100. DPUs L'impostazione predefinita è 10. DPUs Questo tipo di lavoro non può avere un'DPUallocazione frazionaria.

• WorkerType— UTF -8 stringhe (valori validi: Standard="" | | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  Il tipo di worker predefinito allocato quando viene eseguito un processo. Accetta un valore di G.1X, G.2X, G.4X, G.8X o G.025X per i processi Spark. Accetta il valore Z.2X per i processi Ray.

  • Per il tipo di G.1X worker, ogni worker esegue il mapping su 1 DPU (vCPUs4,16 GB di memoria) con disco da 84 GB (circa 34 GB gratuiti) e fornisce 1 esecutore per lavoratore. Questi tipi di worker sono raccomandati per carichi di lavoro come trasformazioni di dati, join e query, in quanto offrono un modo scalabile ed economico per eseguire la maggior parte dei processi.

  • Per il tipo di G.2X worker, ogni worker esegue il mapping su 2 DPU (vCPUs8.32 GB di memoria) con disco da 128 GB (circa 77 GB gratuiti) e fornisce 1 esecutore per lavoratore. Questi tipi di worker sono raccomandati per carichi di lavoro come trasformazioni di dati, join e query, in quanto offrono un modo scalabile ed economico per eseguire la maggior parte dei processi.

  • Per il tipo di G.4X worker, ogni worker esegue il mapping su 4 DPU (16vCPUs, 64 GB di memoria) con disco da 256 GB (circa 235 GB gratuiti) e fornisce 1 esecutore per lavoratore. Questi tipi di worker sono raccomandati per i processi i cui carichi di lavoro contengono trasformazioni, aggregazioni, join e query con i requisiti più elevati. Questo tipo di lavoratore è disponibile solo per AWS Glue la versione 3.0 o successiva di Spark ETL job è la seguente AWS Regioni: Stati Uniti orientali (Ohio), Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Canada (Centrale), Europa (Francoforte), Europa (Irlanda) ed Europa (Stoccolma).

  • Per il tipo di G.8X worker, ogni worker esegue il mapping a 8 DPU (vCPUs32.128 GB di memoria) con disco da 512 GB (circa 487 GB gratuiti) e fornisce 1 esecutore per lavoratore. Questi tipi di worker sono raccomandati per i processi i cui carichi di lavoro contengono trasformazioni, aggregazioni, join e query con i requisiti più elevati. Questo tipo di lavoratore è disponibile solo per AWS Glue ETLlavori Spark versione 3.0 o successiva, nello stesso AWS Regioni supportate per il tipo di G.4X lavoratore.

  • Per il tipo di G.025X lavoratore, ogni worker esegue il mapping a 0,25 DPU (2vCPUs, 4 GB di memoria) con un disco da 84 GB (circa 34 GB gratuiti) e fornisce 1 esecutore per lavoratore. Consigliamo questo tipo di worker per i processi di streaming a basso volume. Questo tipo di lavoratore è disponibile solo per AWS Glue lavori di streaming versione 3.0.

  • Per il tipo di Z.2X worker, ogni worker esegue il mapping su 2 M- DPU (vCPUs8.64 GB di memoria) con disco da 128 GB (circa 120 GB gratuiti) e fornisce fino a 8 Ray worker in base all'autoscaler.

• NumberOfWorkers: numero (intero).

  Il numero di worker di un workerType specifico allocati quando viene eseguito un processo.

• SecurityConfiguration— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondenti a. Single-line string pattern

  Nome della struttura SecurityConfiguration da usare con questa esecuzione del processo.

• LogGroupName— UTF -8 stringhe.

  Il nome del gruppo di log per la registrazione sicura che può essere crittografato lato server in Amazon utilizzando CloudWatch AWS KMS. Questo nome può essere/aws-glue/jobs/, nel qual caso la crittografia predefinita èNONE. Se si aggiunge un nome di ruolo e il nome SecurityConfiguration (in altre parole, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), la configurazione di sicurezza viene utilizzata per crittografare il gruppo di log.

• NotificationProperty: un oggetto NotificationProperty.

  Specifica le proprietà di configurazione di una notifica di esecuzione di un processo.

• GlueVersion— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Custom string pattern #20

  Nei job Spark, GlueVersion determina le versioni di Apache Spark e Python che AWS Glue disponibile in un lavoro. La versione Python indica la versione supportata per i processi di tipo Spark.

  I processi Ray devono impostare il valore di GlueVersion su 4.0 o superiore. Tuttavia, le versioni di Ray, Python e le librerie aggiuntive disponibili nel processo Ray sono determinate dal parametro Runtime del comando del processo.

  Per ulteriori informazioni sulle opzioni disponibili AWS Glue versioni e le corrispondenti versioni Spark e Python, vedi la versione Glue nella guida per sviluppatori.

  Processi creati senza specificare una versione Glue utilizzano Glue 0.9 per impostazione predefinita.

• DPUSeconds: numero (doppio).

  Questo campo può essere impostato per i job eseguiti con la classe di esecuzione FLEX o quando Auto Scaling è abilitato e rappresenta il tempo totale di esecuzione di ogni executor durante il ciclo di vita di un job, espresso in secondi, moltiplicato per un DPU fattore (1 perG.1X, 2 per o 0,25 per i lavoratori). G.2X G.025X Questo valore potrebbe essere diverso da quello executionEngineRuntime * MaxCapacity come nel caso dei processi di Auto Scaling, poiché il numero di esecutori in esecuzione in un determinato momento potrebbe essere inferiore a MaxCapacity. Pertanto, è possibile che il valore di DPUSeconds sia minore di executionEngineRuntime * MaxCapacity.

• ExecutionClass— UTF -8 stringhe, di lunghezza non superiore a 16 byte (valori validi: |). FLEX="" STANDARD=""

  Indica se il processo viene eseguito con una classe di esecuzione standard o flessibile. La classe di esecuzione standard è ideale per carichi di lavoro sensibili al tempo che richiedono un avvio rapido dei processi e risorse dedicate.

  La classe di esecuzione flessibile è appropriata per i processi non sensibili al tempo i cui tempi di inizio e completamento possono variare.

  Solo lavori con AWS Glue glueetlsarà consentito impostare la versione 3.0 e successive e il tipo di comando ExecutionClass suFLEX. La classe di esecuzione flessibile è disponibile per i processi Spark.

• MaintenanceWindow— UTF -8 stringhe, corrispondenti aCustom string pattern #30.

  Questo campo specifica un giorno della settimana e un'ora per una finestra di manutenzione per i lavori di streaming. AWS Glue esegue periodicamente attività di manutenzione. Durante queste finestre di manutenzione, AWS Glue dovrai riavviare i processi di streaming.

  AWS Glue riavvierà il lavoro entro 3 ore dalla finestra di manutenzione specificata. Ad esempio, se imposti la finestra di manutenzione per lunedì alle GMT 10:00, i lavori verranno riavviati tra le 10:00 e le 13:00. GMT GMT

• ProfileName— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome di un AWS Glue profilo di utilizzo associato all'esecuzione del processo.

• StateDetail— UTF -8 stringhe, di lunghezza non superiore a 400000 byte.

  Questo campo contiene dettagli relativi allo stato dell'esecuzione di un processo. Il campo è annullabile.

  Ad esempio, quando l'esecuzione di un processo si trova in uno WAITING stato a causa dell'accodamento dell'esecuzione di un processo, il campo riporta il motivo per cui l'esecuzione del processo si trova in quello stato.

Struttura Predecessor

Un'esecuzione di processo che è stata usata nel predicato di un trigger condizionale che ha attivato l'esecuzione di processo corrente.

Campi

• JobName— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome della definizione di processo usata dall'esecuzione del processo predecessore.

• RunId— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID dell'esecuzione di processo dell'esecuzione processo predecessore.

JobBookmarkEntry struttura

Definisce un punto nel quale un processo può riprendere l'elaborazione.

Campi

• JobName— UTF -8 corde.

  Il nome del processo in questione.

• Version: numero (intero).

  Versione del processo.

• Run: numero (intero).

  Il numero di ID dell'esecuzione.

• Attempt: numero (intero).

  Il numero di ID del tentativo.

• PreviousRunId— UTF -8 corde.

  Identificatore di esecuzione univoco associato all'esecuzione del processo precedente.

• RunId— UTF -8 corde.

  Il numero di ID dell'esecuzione.

• JobBookmark— UTF -8 corde.

  Il segnalibro stesso.

BatchStopJobRunSuccessfulSubmission struttura

Registra una richiesta di arresto riuscita per un JobRun specificato.

Campi

• JobName— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome della definizione di processo usata nell'esecuzione del processo che è stata arrestata.

• JobRunId— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Oggetto JobRunId dell'esecuzione del processo arrestata.

BatchStopJobRunError struttura

Registra un errore che si è verificato durante il tentativo di arrestare un'esecuzione di un processo specifica.

Campi

• JobName— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome della definizione di processo usata nell'esecuzione del processo in questione.

• JobRunId— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string pattern

  JobRunId dell'esecuzione del processo in questione.

• ErrorDetail: un oggetto ErrorDetail.

  Specifica dettagli relativi all'errore che si è verificato.

NotificationProperty struttura

Specifica le proprietà di configurazione di una notifica.

Campi

• NotifyDelayAfter: numero (intero), almeno 1.

  Dopo l'inizio dell'esecuzione di un processo, la quantità di minuti da attendere prima di inviare una notifica di ritardo dell'esecuzione di un processo.

Operazioni

• StartJobRun azione (Python: start_job_run)

• BatchStopJobRun azione (Python: batch_stop_job_run)

• GetJobRun azione (Python: get_job_run)

• GetJobRuns azione (Python: get_job_runs)

• GetJobBookmark azione (Python: get_job_bookmark)

• GetJobBookmarks azione (Python: get_job_bookmarks)

• ResetJobBookmark azione (Python: reset_job_bookmark)

StartJobRun azione (Python: start_job_run)

Avvia un'esecuzione di un processo usando una definizione di processo.

Richiesta

• JobName— Obbligatorio: UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Nome della definizione di processo da usare.

• JobRunQueuingEnabled: booleano.

  Speciifica se l'accodamento dell'esecuzione dei processi è abilitato per l'esecuzione del processo.

  Il valore true indica che l'accodamento dell'esecuzione del processo è abilitato per l'esecuzione del processo. Se false o non è compilato, il job run non verrà preso in considerazione per l'accodamento.

• JobRunId— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  L'ID di un precedente JobRun da ripetere.

• Arguments: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una stringa di UTF -8.

  Ogni valore è una stringa di UTF -8.

  Gli argomenti del processo associati a questa esecuzione. Per questa esecuzione di processo, sostituiscono gli argomenti predefiniti impostati nella definizione del processo stessa.

  Qui è possibile specificare gli argomenti utilizzati dal proprio script di esecuzione del lavoro, nonché gli argomenti che AWS Glue consuma esso stesso.

  Gli argomenti del processo potrebbero essere registrati. Non passare segreti in testo chiaro come argomenti. Recupera segreti da un AWS Glue Connessione, AWS Secrets Manager o altro meccanismo di gestione segreto se intendi mantenerli all'interno del Job.

  Per informazioni su come specificare e utilizzare i propri argomenti Job, vedere Calling AWS Glue APIsnell'argomento Python nella guida per gli sviluppatori.

  Per informazioni sugli argomenti che puoi fornire a questo campo durante la configurazione dei job Spark, consulta i Parametri speciali usati da AWS Glueargomento nella guida per gli sviluppatori.

  Per informazioni sugli argomenti che puoi fornire a questo campo durante la configurazione dei processi Ray, consulta la pagina Using job parameters in Ray jobs nella Guida per gli sviluppatori.

• AllocatedCapacity: numero (intero).

  in quanto obsoleto. Usare invece MaxCapacity.

  Il numero di AWS Glue unità di elaborazione dati (DPUs) da assegnare a questo JobRun scopo. È possibile allocarne almeno 2DPUs; l'impostazione predefinita è 10. A DPU è una misura relativa della potenza di elaborazione costituita dal 4% della capacità vCPUs di elaborazione e da 16 GB di memoria. Per ulteriori informazioni, consultare la .AWS Glue pagina dei prezzi.

• Timeout: numero (intero), almeno 1.

  Timeout di JobRun (in minuti). Indica il tempo massimo durante cui l'esecuzione di un processo può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Questo valore sostituisce il valore di timeout impostato nel processo padre.

  I lavori di streaming devono avere valori di timeout inferiori a 7 giorni o 10080 minuti. Se il valore viene lasciato vuoto, il processo verrà riavviato dopo 7 giorni, a seconda che non sia stata impostata una finestra di manutenzione. Se si dispone di una finestra di manutenzione di configurazione, questa verrà riavviata durante la finestra di manutenzione dopo 7 giorni.

• MaxCapacity: numero (doppio).

  Per i lavori di Glue versione 1.0 o precedente, utilizzando il tipo di worker standard, il numero di AWS Glue unità di elaborazione dati (DPUs) che possono essere allocate durante l'esecuzione di questo processo. A DPU è una misura relativa della potenza di elaborazione costituita dal 4% della capacità vCPUs di elaborazione e da 16 GB di memoria. Per ulteriori informazioni, consultare la .AWS Glue pagina dei prezzi.

  Per i processi Glue versione 2.0 e successive, non è possibile specificare il valore Maximum capacity. Si deve invece specificare un Worker type e un Number of workers.

  Non impostare MaxCapacity se usi WorkerType e NumberOfWorkers.

  Il valore per cui è possibile allocare MaxCapacity dipende dal fatto che stiate eseguendo un job di shell Python, un job Apache Spark o un job di streaming Apache ETL Spark: ETL

  • Quando si specifica un job della shell Python (JobCommand.Name="pythonshell»), è possibile allocare 0,0625 o 1. DPU L'DPUimpostazione predefinita è 0,0625.

  • Quando specificate un job Apache Spark (JobCommand.Name="glueetl») o un ETL job di streaming Apache Spark (JobCommand.Name="gluestreaming»), potete allocare da ETL 2 a 100. DPUs L'impostazione predefinita è 10. DPUs Questo tipo di lavoro non può avere un'DPUallocazione frazionaria.

• SecurityConfiguration— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Nome della struttura SecurityConfiguration da usare con questa esecuzione del processo.

• NotificationProperty: un oggetto NotificationProperty.

  Specifica le proprietà di configurazione di una notifica di esecuzione di un processo.

• WorkerType— UTF -8 stringhe (valori validi: Standard="" | G.1X="" | | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Il tipo di worker predefinito allocato quando viene eseguito un processo. Accetta un valore di G.1X, G.2X, G.4X, G.8X o G.025X per i processi Spark. Accetta il valore Z.2X per i processi Ray.

  • Per il tipo di G.1X worker, ogni worker esegue il mapping su 1 DPU (vCPUs4,16 GB di memoria) con disco da 84 GB (circa 34 GB gratuiti) e fornisce 1 esecutore per lavoratore. Questi tipi di worker sono raccomandati per carichi di lavoro come trasformazioni di dati, join e query, in quanto offrono un modo scalabile ed economico per eseguire la maggior parte dei processi.

  • Per il tipo di G.2X worker, ogni worker esegue il mapping su 2 DPU (vCPUs8.32 GB di memoria) con disco da 128 GB (circa 77 GB gratuiti) e fornisce 1 esecutore per lavoratore. Questi tipi di worker sono raccomandati per carichi di lavoro come trasformazioni di dati, join e query, in quanto offrono un modo scalabile ed economico per eseguire la maggior parte dei processi.

  • Per il tipo di G.4X worker, ogni worker esegue il mapping su 4 DPU (16vCPUs, 64 GB di memoria) con disco da 256 GB (circa 235 GB gratuiti) e fornisce 1 esecutore per lavoratore. Questi tipi di worker sono raccomandati per i processi i cui carichi di lavoro contengono trasformazioni, aggregazioni, join e query con i requisiti più elevati. Questo tipo di lavoratore è disponibile solo per AWS Glue la versione 3.0 o successiva di Spark ETL job è la seguente AWS Regioni: Stati Uniti orientali (Ohio), Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Canada (Centrale), Europa (Francoforte), Europa (Irlanda) ed Europa (Stoccolma).

  • Per il tipo di G.8X worker, ogni worker esegue il mapping a 8 DPU (vCPUs32.128 GB di memoria) con disco da 512 GB (circa 487 GB gratuiti) e fornisce 1 esecutore per lavoratore. Questi tipi di worker sono raccomandati per i processi i cui carichi di lavoro contengono trasformazioni, aggregazioni, join e query con i requisiti più elevati. Questo tipo di lavoratore è disponibile solo per AWS Glue ETLlavori Spark versione 3.0 o successiva, nello stesso AWS Regioni supportate per il tipo di G.4X lavoratore.

  • Per il tipo di G.025X lavoratore, ogni worker esegue il mapping a 0,25 DPU (2vCPUs, 4 GB di memoria) con un disco da 84 GB (circa 34 GB gratuiti) e fornisce 1 esecutore per lavoratore. Consigliamo questo tipo di worker per i processi di streaming a basso volume. Questo tipo di lavoratore è disponibile solo per AWS Glue lavori di streaming versione 3.0.

  • Per il tipo di Z.2X worker, ogni worker esegue il mapping su 2 M- DPU (vCPUs8.64 GB di memoria) con disco da 128 GB (circa 120 GB gratuiti) e fornisce fino a 8 Ray worker in base all'autoscaler.

• NumberOfWorkers: numero (intero).

  Il numero di worker di un workerType specifico allocati quando viene eseguito un processo.

• ExecutionClass— UTF -8 stringhe, di lunghezza non superiore a 16 byte (valori validi: |). FLEX="" STANDARD=""

  Indica se il processo viene eseguito con una classe di esecuzione standard o flessibile. La classe di esecuzione standard è ideale per carichi di lavoro sensibili al tempo che richiedono un avvio rapido dei processi e risorse dedicate.

  La classe di esecuzione flessibile è appropriata per i processi non sensibili al tempo i cui tempi di inizio e completamento possono variare.

  Solo lavori con AWS Glue glueetlsarà consentito impostare la versione 3.0 e successive e il tipo di comando ExecutionClass suFLEX. La classe di esecuzione flessibile è disponibile per i processi Spark.

• ProfileName— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Il nome di un AWS Glue profilo di utilizzo associato all'esecuzione del processo.

Risposta

• JobRunId— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  L'ID assegnato a questa esecuzione processo.

Errori

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• ResourceNumberLimitExceededException

• ConcurrentRunsExceededException

BatchStopJobRun azione (Python: batch_stop_job_run)

Arresta una o più esecuzioni del processo per una definizione di processo specificata.

Richiesta

• JobName— Obbligatorio: UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Nome della definizione di processo per cui arrestare le esecuzioni del processo.

• JobRunIds— Obbligatorio: un array di UTF -8 stringhe, non meno di 1 o più di 25 stringhe.

  Elenco degli oggetti JobRunIds che dovrebbero essere arrestati per la definizione di processo.

Risposta

• SuccessfulSubmissions: una matrice di oggetti BatchStopJobRunSuccessfulSubmission.

  Un elenco di quelle JobRuns che sono state inviate correttamente per l'interruzione.

• Errors: una matrice di oggetti BatchStopJobRunError.

  Un elenco degli errori rilevati nel tentativo di arrestare JobRuns, incluso il JobRunId per il quale si è verificato ciascun errore e i dettagli sull'errore stesso.

Errori

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

GetJobRun azione (Python: get_job_run)

Recupera i metadati per una determinata esecuzione di processo. La cronologia di esecuzione dei lavori è accessibile per 90 giorni per il flusso di lavoro e l'esecuzione dei lavori.

Richiesta

• JobName— Obbligatorio: UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Nome della definizione di processo in esecuzione.

• RunId— Obbligatorio: UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  L'ID dell'esecuzione processo.

• PredecessorsIncluded: booleano.

  True se un elenco delle esecuzioni predecessore deve essere restituito.

Risposta

• JobRun: un oggetto JobRun.

  I metadati di esecuzione del processo richiesti.

Errori

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

GetJobRuns azione (Python: get_job_runs)

Recupera i metadati per tutte le esecuzioni di una definizione di processo specifica.

GetJobRunsrestituisce i job eseguiti in ordine cronologico, con i job più recenti restituiti per primi.

Richiesta

• JobName— Obbligatorio: UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Nome della definizione di processo per cui recuperare tutte le esecuzioni del processo.

• NextToken— UTF -8 stringhe.

  Un token di continuazione, se si tratta di una chiamata di continuazione.

• MaxResults— Numero (intero), non inferiore a 1 o superiore a 200.

  La dimensione massima della risposta.

Risposta

• JobRuns: una matrice di oggetti JobRun.

  Un elenco di oggetti metadati esecuzione processo.

• NextToken— UTF -8 corde.

  Un token di continuazione, se non tutte le esecuzioni di processo richieste sono state restituite.

Errori

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

GetJobBookmark azione (Python: get_job_bookmark)

Restituisce informazioni su una voce del segnalibro di processo.

Per ulteriori informazioni sull’abilitazione e l’utilizzo dei segnalibri di processo, consulta:

• Monitoraggio dei dati elaborati mediante segnalibri di processo

• Parametri Job utilizzati da AWS Glue

• Struttura del processo

Richiesta

• JobName— Richiesto: UTF -8 stringhe.

  Il nome del processo in questione.

• Version: numero (intero).

  Versione del processo.

• RunId— UTF -8 corde.

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di processo.

Risposta

• JobBookmarkEntry: un oggetto JobBookmarkEntry.

  Struttura che definisce un punto in cui un processo può riprendere l'elaborazione.

Errori

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• ValidationException

GetJobBookmarks azione (Python: get_job_bookmarks)

Restituisce informazioni sulle voci del segnalibro di processo. L'elenco è ordinato sui numeri di versione decrescenti.

Per ulteriori informazioni sull’abilitazione e l’utilizzo dei segnalibri di processo, consulta:

• Monitoraggio dei dati elaborati mediante segnalibri di processo

• Parametri Job utilizzati da AWS Glue

• Struttura del processo

Richiesta

• JobName— Richiesto: UTF -8 stringhe.

  Il nome del processo in questione.

• MaxResults: numero (intero).

  La dimensione massima della risposta.

• NextToken: numero (intero).

  Un token di continuazione, se si tratta di una chiamata di continuazione.

Risposta

• JobBookmarkEntries: una matrice di oggetti JobBookmarkEntry.

  Elenco di voci del segnalibro di processo che definisce un punto in cui un processo può riprendere l'elaborazione.

• NextToken: numero (intero).

  Un token di continuazione, che ha un valore pari a 1 se vengono restituite tutte le voci, oppure > 1 se non vengono restituite tutte le esecuzioni di processo richieste.

Errori

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

ResetJobBookmark azione (Python: reset_job_bookmark)

Ripristina una voce segnalibro.

Per ulteriori informazioni sull’abilitazione e l’utilizzo dei segnalibri di processo, consulta:

• Monitoraggio dei dati elaborati mediante segnalibri di processo

• Parametri Job utilizzati da AWS Glue

• Struttura del processo

Richiesta

• JobName— Richiesto: UTF -8 stringhe.

  Il nome del processo in questione.

• RunId— UTF -8 corde.

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di processo.

Risposta

• JobBookmarkEntry: un oggetto JobBookmarkEntry.

  La voce di ripristino del segnalibro.

Errori

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException