AWS Glue ジョブの連続ログ記録の表示

リアルタイムのログは、AWS Glue コンソールまたは Amazon CloudWatch コンソールを使用して表示できます。

AWS Glue コンソールダッシュボードを使用してリアルタイムのログを表示するには

1. AWS Management Console にサインインし、AWS Glue コンソール (https://console.aws.amazon.com/glue/) を開きます。

2. ナビゲーションペインで ジョブを選択します。

3. 既存のジョブを追加または開始します。[アクション]、[ジョブの実行] の順に選択します。

   ジョブの実行を開始するときは、実行中のジョブに関する情報が含まれているページに移動します。

   • [ログ] タブには、集約された古いアプリケーションログが表示されます。

   • [Continuous logging (連続ログ記録)] タブには、glueContext が初期化されたジョブが実行されているときにリアルタイムの進行状況バーが表示されます。

   • [Continuous logging (連続ログ記録)] タブには、[Driver logs (ドライバーログ)] も含まれています。このログには、リアルタイムの Apache Spark ドライバーログと、ジョブが実行中に AWS Glue アプリケーションを使用して記録されたスクリプトからのアプリケーションログがキャプチャされます。

4. 古いジョブでは、リアルタイムログを [Job History] (ジョブ履歴) ビューで [Logs] (ログ) を選択して表示することもできます。このアクションを実行すると、そのジョブ実行のすべての Spark ドライバー、エグゼキュター、および進捗状況バーのログストリームを表示する CloudWatch コンソールに移動します。

CloudWatch コンソールダッシュボードを使用してリアルタイムのログを表示するには

1. CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/) を開きます。

2. ナビゲーションペインで [ログ] を選択します。

3. /aws-glue/jobs/logs-v2/ ロググループを選択します。

4. [フィルタ] ボックスに、ジョブ実行 ID を貼り付けます。

   ドライバーログ、エグゼキュターログ、および進行状況バーを表示できます ([標準フィルタ] を使用している場合)。