AWS Glue ストリーミングメトリクスの視覚化 - AWS Glue

AWS Glue ストリーミングメトリクスの視覚化

ビジュアルメトリクスをプロットするには:

  1. Amazon CloudWatch コンソールの [メトリクス] に移動し、[参照] タブを選択します。次に、「カスタム名前空間」の [Glue] を選択します。

    このスクリーンショットは、AWS Glue Streaming ジョブをモニタリングする際に Amazon CloudWatch コンソールでメトリクスにアクセスしているところを示しています。

  2. [ジョブメトリクス] を選択すると、すべてのジョブのメトリクスが表示されます。

  3. JobName=glue-feb-monitoring に基づいてメトリクスをフィルタリングし、次に JobRunId=ALL に基づいてフィルタリングします。下図のように「+」記号をクリックすると、検索フィルターに追加できます。

  4. 対象のメトリクスのチェックボックスを選択します。以下の図では、numberAllExecutors と numberMaxNeededExecutors を選択しています。

    このスクリーンショットは、ストリーミングジョブをモニタリングする際にメトリクスに平均を適用しているところを示しています。

  5. これらのメトリクスを選択したら、[グラフ化したメトリクス] タブに移動して統計を適用できます。

  6. メトリクスは 1 分ごとに出力されるため、batchProcessingTimeInMs および maxConsumerLagInMs には 1 分より長い「average」を適用できます。numRecords には、1 分ごとの「sum」を適用できます。

  7. [オプション] タブでは、水平方向の windowSize の注釈をグラフに追加できます。

    このスクリーンショットは、ストリーミングジョブをモニタリングする際にグラフに windowSize の注釈を追加しているところを示しています。

  8. メトリクスを選択したら、ダッシュボードを作成して追加します。ダッシュボードの例を以下に示します。

    このスクリーンショットは、ストリーミングジョブをモニタリングするためのダッシュボードの例を示しています。