Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überwachung von AWS Glue-Spark-Aufträgen
Themen
Spark-Metriken verfügbar in AWS Glue Studio
Die Registerkarte Metrics (Metriken) zeigt Metriken, die erfasst werden, wenn ein Auftrag ausgeführt wird und das Profiling aktiviert ist. Die folgenden Diagramme werden in Spark-Aufträgen angezeigt:
ETL-Datenbewegung
Speicherprofil: Treiber und Executors
Wählen Sie View additional metrics (Weitere Metriken anzeigen), um die folgenden Graphen anzuzeigen:
ETL-Datenbewegung
Speicherprofil: Treiber und Executors
Datenmischung über Executors hinweg
CPU-Auslastung: Treiber und Executors
Auftragsausführung: Aktive Executors, Abgeschlossen Phasen und maximal benötigte Executors
Die Daten für diese Diagramme werden in CloudWatch Metriken übertragen, wenn der Job für die Erfassung von Metriken konfiguriert ist. Weitere Informationen über das Aktivieren von Metriken und die Interpretation der Graphen finden Sie unter Auftragsüberwachung und Debugging.
Beispiel Der Graph für die ETL-Datenbewegung
Der Graph für die ETL-Datenbewegung zeigt die folgenden Metriken:
Die Anzahl der von allen Executors von Amazon S3 gelesenen Bytes – glue.ALL.s3.filesystem.read_bytes
-
Die Anzahl der von allen Executors in Amazon S3 geschriebenen Bytes – glue.ALL.s3.filesystem.write_bytes
Beispiel Der Graph für das Speicherprofil
Der Graph für das Speicherprofil zeigt die folgenden Metriken:
Der vom JVM-Heap für diesen Treiber (Skalierung: 0-1) verwendete Speicheranteil – vom Treiber, einem durch executorId identifizierten Executor oder allen Executors –
Beispiel Der Graph für die Datenmischung über Executors hinweg
Der Graph für das Mischen der Daten über alle Executors hinweg zeigt die folgenden Metriken:
Die Zahl der von allen Executors gelesenen Bytes, um ihre Daten zu mischen - glue.driver.aggregate.shuffleLocalBytesRead
-
Die Zahl der von allen Executors geschriebenen Bytes, um ihre Daten zu mischen - glue.driver.aggregate.shuffleBytesWritten
Beispiel Der Graph für die CPU-Auslastung
Der Graph für die CPU-Auslastung zeigt die folgenden Metriken:
Der vom Treiber verwendete Anteil der CPU-Systemauslastung (Skalierung: 0-1) – vom Treiber, einem durch executorId identifizierten Executor oder allen Executors –
Beispiel Der Graph für die Auftragsausführung
Der Graph für die Auftragsausführung zeigt die folgenden Metriken:
Die Anzahl der aktiven Executors - glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
Die Anzahl der abgeschlossenen Phasen - glue.aggregate.numCompletedStages
Die Anzahl maximal benötigter Executors - glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
