AWS Cost Explorer を使用して Glue AWS ジョブの詳細なコストと使用状況レポートを作成する

作成者: Parijat Bhide (AWS) と Aromal Raj Jayarajan (AWS）

環境:本稼働

テクノロジー：コスト管理、分析

AWS サービス: AWS AWS請求とコスト管理、Glue

[概要]

このパターンは、ユーザー定義のコスト配分タグ を設定して AWS Glue データ統合ジョブの使用コストを追跡する方法を示しています。 https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/custom-tags.htmlこれらのタグを使用して、複数のディメンションにわたるジョブのコストと使用状況の詳細レポートを AWS Cost Explorer で作成できます。たとえば、チーム、プロジェクト、またはコストセンターレベルで使用コストを追跡できます。

前提条件と制限

前提条件

• アクティブなAWSアカウント

• ユーザー定義タグがアクティブ化された 1 つ以上の AWS Glue ジョブ

アーキテクチャ

ターゲットテクノロジースタック

• AWS Glue

• AWS Cost Explorer

次の図は、タグを適用して Glue AWS ジョブの使用コストを追跡する方法を示しています。

この図表は、次のワークフローを示しています：

1. データエンジニアまたはAWS管理者は、Glue AWS ジョブのユーザー定義のコスト配分タグを作成します。

2. AWS 管理者はタグをアクティブ化します。

3. タグはメタデータを AWS Cost Explorer に報告します。

ツール

• AWS Glue は、フルマネージドの抽出、変換、ロード (ETL) サービスです。これにより、データストアとデータストリーム間でのデータの分類、整理、強化、移動を確実に行うことができます。

• AWS Cost Explorer は、AWSコストと使用量を表示および分析するのに役立ちます。

エピック

Glue AWS ジョブのタグを作成してアクティブ化する

タスク	説明	必要なスキル
Glue AWS ジョブのユーザー定義のコスト配分タグを作成します。	既存の Glue AWS ジョブにタグを追加するには AWS 管理コンソールにサインインし、AWSGlue コンソール を開きます。 左側のナビゲーションペインの でETL、ジョブ を選択します。 「お客様のジョブ」セクションで、タグ付けするジョブの名前を選択します。 [Job details] (ジョブの詳細) タブを選択します。次に、「詳細プロパティ」セクションを展開します。 「タグ」で「新しいタグを追加」を選択します。 キーには、タグの名前を入力します。 (オプション) 「値」には、キーに関連付けたい値を入力します。 (オプション) ジョブ用に作成するタグごとに手順 5 から 7 を繰り返します。 [Save] を選択します。 新しい Glue AWS ジョブにタグを追加するには ユースケースの要件に基づいて新しい Glue AWS ジョブを作成します。手順については、 Glue AWS デベロッパーガイドの「Glue コンソールでのジョブの操作」を参照してください。 AWS ジョブの詳細設定を行うときは、このタスクの既存の Glue ジョブにタグを追加するには セクションのステップ AWS 4～9 に従います。 注： 詳細については、AWSGlue AWS デベロッパーガイドの「Glue のタグAWS」を参照してください。	データエンジニア
ステップ 1： ユーザー定義のコスト配分タグを有効にする	Billing AWS User Guide の「ユーザー定義のコスト配分タグのアクティブ化」の手順に従います。	AWS 管理者

Glue AWS ジョブのコストと使用状況レポートを作成する

タスク	説明	必要なスキル
AWS Cost Explorer のタグフィルターを使用してAWS、Glue ジョブのコストと使用状況レポートを作成します。	AWS マネジメントコンソールにサインインし、AWSコストマネジメントコンソール を開きます。 左のナビゲーションペインの [レポート] を選択します。 [Create New Report (新しいレポートを作成)] を選択します。 「レポートタイプを選択」で「コストと使用量 (推奨)」を選択します。次に、[レポートを生成] を選択します。 「フィルター」には「サービス」を選択します。「サービス」ドロップダウンが表示されます。 [Glue] のチェックボックスをオンにします。次に、「フィルターを適用」を選択します。 「フィルター」で「タグ」を選択します。「タグ」ドロップダウンが表示されます。 「チーム」を選択します。次に、タグを割り当てたチームの横にあるチェックボックスを選択します。タグを割り当てていないチームはすべて除外します。次に、「フィルターを適用」を選択します。 グラフの上部にある「Tag」を選択します。次に、レポートを作成する Glue AWS ジョブのタグを選択します。 グラフの上部にある「過去 3 か月」ドロップダウンを選択し、レポートの対象とする期間を選択します。次に、「月次」ドロップダウンを選択し、レポート内の明細項目を期間に基づいてどのように集計するかを選択します。 [名前を付けて保存] を選択します。次に、レポートのタイトルを入力します。 [レポートの保存] を選択します。 詳細については、Cost Explorer を使用したデータの探索」を参照してください。 AWS	全般AWS、AWS管理者