Aurora Postgre SQL互換 と の統合 AWS Glue

AWS Glue は、分析用のデータを準備してロードするためのフルマネージド型の抽出、変換、ロード (ETL) サービスです。Amazon Aurora PostgreSQL-Compatible Edition AWS Glue と統合して、データ処理および分析ワークフローに対応できます。

AWS Glue ユースケースと大まかなステップ

Aurora PostgreSQL-Compatible と の統合では、次のユースケース AWS Glue がサポートされています。

• データウェアハウスと分析 ‒ Aurora Postgre SQL互換との統合を使用して AWS Glue 、データウェアハウスと分析ソリューションを構築します。 AWS Glue は、Aurora Postgre SQL互換データベースからデータを抽出し、要件に応じて変換できます。その後、 AWS Glue は変換されたデータを Amazon Redshift や Amazon Athena などのデータウェアハウスにロードして、高度な分析とレポートを行うことができます。

• データレイクの作成 ‒ Aurora Postgre SQL互換からデータを抽出し、Amazon S3 に保存されているデータレイクにロード AWS Glue するために使用します。その後、このデータレイクを機械学習、データ探索、その他の分析システムの供給など、さまざまな目的に使用できます。

• ETL パイプライン ‒ AWS Glue サーバーレスETLサービスを使用して堅牢なデータパイプラインを構築します。Aurora Postgre SQL互換からデータを抽出し、Apache Spark または を使用して複雑な変換を実行できます PySpark。処理されたデータを Amazon S3 や Amazon Redshift などのターゲットにロードすることも、Aurora Postgre SQL互換にロードし直すこともできます。

• データカタログ化とメタデータ管理 ‒ を使用して AWS Glue Data Catalog 、Aurora Postgre SQL互換データベースとテーブルからメタデータを自動的にクロールおよびカタログ化します。Amazon Athena や Amazon Redshift Spectrum AWS のサービス などの は、この一元化されたメタデータリポジトリを使用してデータのクエリと分析を行うことができます。

• 機械学習のデータ準備 ‒ 機械学習 (ML) ワークロード用に Aurora Postgre SQL互換のデータを準備する AWS Glue ために使用します。処理されたデータは、モデルのトレーニングとデプロイのために Amazon SageMaker AI または他の ML サービスにロードできます。

• データ移行とレプリケーション AWS Database Migration Service ‒ (AWS DMS) はデータベース移行の主要なサービスですが、 を使用することもできます AWS Glue。Aurora Postgre SQL互換から、Amazon S3、Amazon Redshift、その他のデータベースエンジンなどの他のデータストアにデータを移行またはレプリケートします。

組織は、Aurora Postgre SQL互換のスケーラビリティ、パフォーマンス、互換性を備えた AWS データ統合および分析サービスの能力を使用できます。これらのユースケースでは、堅牢なデータパイプラインを構築し、複雑なデータ変換を実行し、他の と統合 AWS のサービス して高度な分析とレポートを行うことができます。

Aurora PostgreSQL-Compatible を と統合するには AWS Glue、以下の大まかなステップを使用します。

1. にサインインし AWS Management Console、 AWS Glue コンソールに移動して、 を作成します AWS Glue Data Catalog。

   Data Catalog は、Aurora Postgre SQL互換データベースやテーブルなど、データソースに関するメタデータを保存する中央リポジトリです。

2. AWS Glue 接続を作成します。

   Connections ページに移動し、 AWS Glue 接続を作成します。接続タイプとして Aurora PostgreSQL-Compatible を選択し、Aurora PostgreSQL-Compatible クラスターエンドポイント、データベース名、データベースのユーザー名とパスワードを指定します。

3. Aurora Postgre SQL互換データソースをクロールします。

   クローラセクションに移動し、作成した接続を使用するように設定されたクローラを作成します。クロールしてデータカタログに含めるデータベース名とテーブル名を指定し、クローラーを実行します。

4. ジョブを作成して実行します AWS Glue ETL。

   ジョブセクションに移動し、 データカタログを使用して Aurora Postgre SQL互換データベースのデータにアクセスしてクエリを実行する ETLジョブを作成します。要件に基づいてジョブタイプを選択します。ETL ジョブスクリプトで、必要な変換または処理を実行し、処理されたデータのターゲットの場所を指定します。ターゲットの場所は、Amazon S3、Amazon Redshift、または別の Aurora Postgre SQL互換データベースです。

詳細な手順については、 AWS Glue ドキュメントを参照してください。