Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Monitoraggio dei processi Spark AWS Glue
Argomenti
Spark Metrics disponibile in AWS Glue Studio
La scheda Metrics (Parametri) mostra i parametri raccolti quando un processo viene eseguito ed è attivata la profilatura. Nei processi Spark vengono visualizzati i grafici seguenti:
Spostamento di dati ETL
Profilo di memoria: driver ed executor
Scegli View additional metrics (Visualizza parametri aggiuntivi) per visualizzare i grafici relativi agli elementi seguenti:
Spostamento di dati ETL
Profilo di memoria: driver ed executor
Distribuzione casuale dei dati tra executor
Carico CPU: driver ed executor
Esecuzione del processo: executor attivi, fasi completate e numero massimo di executor necessari
I dati di questi grafici vengono inseriti nelle CloudWatch metriche se il job è configurato per raccogliere metriche. Per ulteriori informazioni su come abilitare i parametri e interpretare i grafici, consulta Monitoraggio e debug dei processi.
Esempio Grafico relativo allo spostamento di dati ETL
Il grafico relativo allo spostamento di dati ETL mostra i parametri seguenti:
Numero di byte letti da Amazon S3 da tutti gli executor: glue.ALL.s3.filesystem.read_bytes
-
Numero di byte scritti in Amazon S3 da tutti gli executor: glue.ALL.s3.filesystem.write_bytes
Esempio Grafico relativo al profilo di memoria
Il grafico relativo al profilo di memoria mostra i parametri seguenti:
Frazione di memoria usata dall'heap JVM per questo driver (dimensione: 0-1) dal driver, da un executor identificato da executorId o da tutti gli executor—
Esempio Grafico relativo alla distribuzione casuale dei dati tra executor
Il grafico relativo alla distribuzione casuale dei dati tra executor mostra i parametri seguenti:
Numero di byte letti da tutti gli executor per distribuire i dati in modo casuale: glue.driver.aggregate.shuffleLocalBytesRead
-
Numero di byte scritti da tutti gli executor per distribuire i dati in modo casuale: glue.driver.aggregate.shuffleBytesWritten
Esempio Grafico relativo al carico CPU
Il grafico relativo al carico CPU mostra i parametri seguenti:
Frazione del carico di sistema della CPU usata (dimensione: 0-1) dal driver, da un executor identificato da executorId o da tutti gli executor:
Esempio Grafico relativo all'esecuzione del processo
Il grafico relativo all'esecuzione del processo mostra i parametri seguenti:
Numero di executor attivamente in esecuzione: glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
Numero di fasi completate: glue.aggregate.numCompletedStages
Numero massimo di executor necessari: glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
