モニタリングAWS GlueSpark ジョブ

トピック

• Spark メトリクスは以下で利用可能です AWS Glue Studio
• Apache Spark ウェブ UI を使用したジョブのモニタリング
• AWS Glue ジョブ実行インサイトでのモニタリング
• Amazon CloudWatch によるモニタリング
• ジョブのモニタリングとデバッグ

Spark メトリクスは以下で利用可能です AWS Glue Studio

[Metrics] (メトリクス) タブには、ジョブが実行され実行とプロファイリングが有効になっているときに収集されるメトリクスが表示されます。以下のグラフが Spark ジョブに表示されます。

• ETL データ移動

• メモリプロファイル: ドライバーおよびエグゼキュター

[View additional metrics (追加のメトリクスの表示)] を選択し、以下のグラフを表示します。

• ETL データ移動

• メモリプロファイル: ドライバーおよびエグゼキュター

• エグゼキュター間のデータシャッフル

• CPU 負荷: ドライバーおよびエグゼキュター

• ジョブの実行: アクティブなエグゼキュター、完了したステージ、必要な最大エグゼキュター

ジョブがメトリクスを収集するように設定されている場合、 CloudWatch これらのグラフのデータはメトリクスにプッシュされます。メトリクスを有効にしてグラフを解釈する方法の詳細については、「ジョブのモニタリングとデバッグ」を参照してください。

例 ETL データ移動グラフ

ETL データ移動グラフには、以下のメトリクスが表示されます。

• すべてのエグゼキュターにより Amazon S3 から読み取られたバイト数 – glue.ALL.s3.filesystem.read_bytes

• すべてのエグゼキュターにより Amazon S3 に書き込まれたバイト数 – glue.ALL.s3.filesystem.write_bytes

例 メモリプロファイルグラフ

メモリプロファイルグラフには、以下のメトリクスが表示されます。

• このドライバーの JVM ヒープにより使用されるメモリの割合を、スケール 0～1 で、ドライバーごと、executorId により識別されるエグゼキュターごと、またはすべてのエグゼキュターごとに表示 –

  • glue.driver.jvm.heap.usage

  • glue.executorId.jvm.heap.usage

  • glue.ALL.jvm.heap.usage

例 エグゼキュター間のデータシャッフルグラフ

エグゼキュター間でのデータシャッフルグラフには、以下のメトリクスが表示されます。

• すべてのエグゼキュター間でデータをシャッフルするためにそれらのエグゼキュターにより読み取られたバイト数 — glue.driver.aggregate.shuffleLocalBytesRead

• すべてのエグゼキュター間でデータをシャッフルするためにそれらのエグゼキュターにより書き込まれたバイト数 — glue.driver.aggregate.shuffleBytesWritten

例 CPU ロードグラフ

CPU ロードグラフには、以下のメトリクスが表示されます。

• 使用された CPU システムロードの割合を、スケール 0～1 で、ドライバーごと、executorId により識別されるエグゼキュターごと、またはすべてのエグゼキュターごとに表示 –

  • glue.driver.system.cpuSystemLoad

  • glue.executorId.system.cpuSystemLoad

  • glue.ALL.system.cpuSystemLoad

例 ジョブの実行グラフ

ジョブの実行グラフには、以下のメトリクスが表示されます。

• アクティブに実行されているエグゼキュターの数 — glue.driver.ExecutorAllocationManager.executors.numberAllExecutors

• 完了したステージの数 — glue.aggregate.numCompletedStages

• 必要なエグゼキュターの最大数 — glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors