AWS Glue ジョブ用の Apache Spark ウェブ UI の有効化

Apache Spark ウェブ UI を使用して、AWS Glue ジョブシステムで実行されている AWS Glue ETL ジョブをモニタリングおよびデバッグできます。Spark UI は、AWS Glue コンソールまたは AWS Command Line Interface (AWS CLI) を使用して設定できます。

Spark UI の設定 (コンソール)

AWS Management Console を使用して Spark UI を設定するには、以下のステップに従います。

Spark UI を有効にしてジョブを作成するには

1. AWS Management Console にサインインし、AWS Glue コンソール (https://console.aws.amazon.com/glue/) を開きます。

2. ナビゲーションペインで [Jobs] (ジョブ) を選択します。

3. [ジョブの追加] を選択します。

4. [Configure the job properties (ジョブプロパティの設定)] で、[Monitoring options (モニタリングオプション)] を選択します。

5. [Spark UI] タブで、[有効化] を選択します。

6. ジョブの Spark イベントログを保存するための Amazon S3 パスを指定します。

既存のジョブを編集して Spark UI を有効にするには

1. https://console.aws.amazon.com/glue/ で AWS Glue コンソール を開きます。

2. ナビゲーションペインで [Jobs] (ジョブ) を選択します。

3. ジョブリストで既存のジョブを選択します。

4. [アクション]、[ジョブの編集)] の順に選択します。

5. [Monitoring options (モニタリングオプション)] を開きます。

6. [Spark UI] タブで、[有効化] を選択します。

7. ジョブの Spark イベントログを保存するための Amazon S3 パスを入力します。

新しいジョブのユーザー設定をセットアップして Spark UI を有効にするには

1. https://console.aws.amazon.com/glue/ で AWS Glue コンソール を開きます。

2. 右上隅の [User preferences (ユーザー設定)] を選択します。

3. [Monitoring options (モニタリングオプション)] を開きます。

4. [Spark UI] タブで、[有効化] を選択します。

5. ジョブの Spark イベントログを保存するための Amazon S3 パスを指定します。

ジョブ実行オプションを設定して Spark UI を有効にするには

1. https://console.aws.amazon.com/glue/ で AWS Glue コンソール を開きます。

2. ナビゲーションペインで [Jobs] (ジョブ) を選択します。

3. ジョブリストで既存のジョブを選択します。

4. [Scripts (スクリプト)] および [ジョブの編集] を選択します。コードペインに移動します。

5. [Run job] (ジョブの実行) を選択します。

6. [Monitoring options (モニタリングオプション)] を開きます。

7. [Spark UI] タブで、[有効化] を選択します。

8. ジョブの Spark イベントログを保存するための Amazon S3 パスを指定します。

Spark UI の設定 (AWS CLI)

AWS CLI を使用して Spark UI 機能を有効にするには、以下のジョブパラメータを AWS Glue ジョブに渡します。詳細については、「AWS Glue で使用される特別なパラメータ」を参照してください。

'--enable-spark-ui': 'true',
'--spark-event-logs-path': 's3://s3-event-log-path'

30 秒ごとに、AWS Glue から、指定した Amazon S3 パスに Spark イベントログがフラッシュされます。