Amazon Redshift との Amazon RDS ゼロ ETL 統合の開始方法
これは、プレビューリリース中の Amazon RDS ゼロ ETL 統合と Amazon Redshift の統合に関するプレリリースドキュメントです。ドキュメントと機能はどちらも変更されることがあります。この機能については、テスト環境のみで使用し、本番環境では使用しないことをお勧めします。プレビューの利用規約については、「AWS のサービス条件 |
Amazon Redshift とのゼロ ETL 統合を作成する前に、必要なパラメータとアクセス許可で RDS データベースと Amazon Redshift データウェアハウスを設定します。セットアップ時には、以下の手順を完了します。
これらのタスクが完了したら、Amazon Redshift との Amazon RDS ゼロ ETL 統合の作成 に進みます。
ステップ 1: カスタム DB のパラメータグループを作成する
Amazon Redshift との Amazon RDS ゼロ ETL 統合には、バイナリロギング (binlog) を制御する Aurora DB パラメータに特定の値が必要です。バイナリログを設定するには、まずカスタム DB パラメータグループを作成して、これをソースデータベースに関連付ける必要があります。
以下の設定でカスタム DB パラメータグループを作成します。カスタムパラメータグループを作成するには、「Amazon RDS DB インスタンスの DB パラメータグループマルチ AZ DB クラスターの DB クラスターパラメータグループを使用する」を参照してください。
-
binlog_format=ROW
-
binlog_row_image=full
-
binlog_checksum=NONE
また、binlog_row_value_options
パラメータが PARTIAL_JSON
に設定されていないことも確認してください。
ステップ 2: ソースデータベースを選択または作成する
カスタム DB のパラメータグループを作成したら、RDS for MySQL のシングル AZ インスタンスまたはマルチ AZ DB インスタンスを選択または作成します。この データベースのは、Amazon Redshift へのデータレプリケーションのソースになります。
このデータベースは、RDS for MySQL バージョン 8.0.32 以降 を実行している必要があります。シングル AZ インスタンスまたはマルチ AZ DB インスタンスの の作成手順については、「Amazon RDS DB インスタンスの作成」を参照してください。
[追加設定] で、デフォルトの DB パラメータグループを、前のステップで作成したカスタムパラメータグループに変更します。
注記
もしデータベースの作成後にパラメータグループをデータベースに関連付ける場合は、ゼロ ETL 統合を作成する前にデータベースを再起動して変更を適用する必要があります。手順については、 DB インスタンスの再起動 を参照してください。
さらに、データベースで自動バックアップが有効になっていることを確認してください。詳細については、「自動バックアップの有効化」を参照してください。
ステップ 3: ターゲット Amazon Redshift データウェアハウスを作成する
ソースデータベースを作成した後、Amazon Redshift でターゲットのデータウェアハウスを作成して設定する必要があります。データウェアハウスは、以下の要件を満たしている必要があります。
-
プレビューで作成
-
プロビジョニングされたクラスターをプレビューで作成するには、プロビジョニングされたクラスターダッシュボードのバナーから [プレビュークラスターの作成] を選択します。詳細については、「プレビュークラスターの作成」を参照してください。
クラスターを作成するときは、プレビュートラックを
preview_2023
に設定します。 -
Redshift Serverless ワークグループをプレビューで作成するには、Serverless ダッシュボードのバナーから [プレビューワークグループの作成] を選択します。詳細については、「プレビューワークグループの作成」を参照してください。
-
-
少なくとも 2 つのノードがある RA3 ノードタイプ (
ra3.xlplus
、ra3.4xlarge
、ra3.16xlarge
のいずれか)、または Redshift Serverless を使用している。 -
暗号化されている (プロビジョニングされたクラスターを使用している場合) 詳細については、「Amazon Redshift データベースの暗号化」を参照してください。
データウェアハウスを作成する手順については、プロビジョニングされたクラスター用の「クラスターの作成」またはRedshift Serverless 用の「名前空間を使用したワークグループの作成」を参照してください。
データウェアハウスで大文字と小文字の区別を有効にします。
統合を正常に行うには、データウェアハウスで大文字と小文字を区別するパラメータ (enable_case_sensitive_identifier
) を有効にする必要があります。デフォルトでは、プロビジョニング済みクラスターと Redshift Serverless ワークグループの大文字と小文字の区別は無効になっています。
大文字と小文字の区別を有効にするには、データウェアハウスのタイプに応じて以下の手順を実行します。
-
プロビジョニングされたクラスター — プロビジョニングされたクラスターで大文字と小文字の区別を有効にするには、
enable_case_sensitive_identifier
パラメータを有効にしたカスタムパラメータグループを作成します。次に、そのパラメータグループとクラスターを関連付けます。手順については、「コンソールを使用したパラメータグループの管理」または「AWS CLI を使用したパラメータ値の設定」を参照してください。注記
クラスターにパラメータグループを関連付けたら、クラスターを再起動することを忘れないでください。
-
Serverless ワークグループ — Redshift Serverless ワークグループで大文字と小文字の区別を有効にするには、AWS CLI を使用する必要があります。Amazon Redshift コンソールは現在、Redshift Serverless パラメータ値の変更をサポートしていません。次の update-workgroup リクエストを送信します。
aws redshift-serverless update-workgroup \ --workgroup-name
target-workgroup
\ --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=trueパラメータ値を変更した後、ワークグループを再起動する必要はありません。
データウェアハウスの認証を設定します。
データウェアハウスを作成したら、ソース RDS データベースを承認済みの統合ソースとして設定する必要があります。手順については、「Amazon Redshift データウェアハウスの認証を設定する」を参照してください。
次のステップ
ソース RDS データベースと Amazon Redshift ターゲットデータウェアハウスを作成したので、ゼロ ETL 統合を作成してデータのレプリケーションを開始できます。手順については、Amazon Redshift との Amazon RDS ゼロ ETL 統合の作成 を参照してください。