Amazon S3 からの継続的なファイル取り込み (プレビュー) - Amazon Redshift

Amazon S3 からの継続的なファイル取り込み (プレビュー)

これは、プレビューで使用できる自動コピー (SQL COPY JOB) に関する、プレリリースドキュメントです。 ドキュメントと機能はどちらも変更されることがあります。この機能については、テスト環境のみで使用し、本番環境では使用しないことをお勧めします。パブリックプレビューは 2024 年 7 月 31 日に終了します。プレビュークラスターは、プレビュー終了 2 週間後に自動的に削除されます。ベータ版の利用規約については、「AWS のサービス条件」の「ベータ版とプレビュー」を参照してください。
注記

Amazon Redshift クラスターを [Preview] (プレビュー) で作成して、Amazon Redshift の新機能をテストできます。これらの機能を本番稼働で使用したり、[プレビュー] クラスターを本稼働クラスターや別のトラックのクラスターに移動したりすることはできません。プレビューの利用規約については、「AWS のサービス条件」の「ベータ版とプレビュー」を参照してください。

[Preview] (プレビュー) で クラスターを作成するには

  1. AWS Management Console にサインインして、 https://console.aws.amazon.com/redshiftv2/で Amazon Redshift コンソールを開きます。

  2. ナビゲーションメニューで [Provisioned clusters dashboard] (プロビジョニングされたクラスターダッシュボード) を選択し、[Clusters] (クラスター) を選択します。現在の AWS リージョン にあるアカウントのクラスターがリストされています。各クラスターのプロパティのサブセットが、リストの列に表示されます。

  3. [Clusters] (クラスター) リストページに、プレビューを紹介するバナーが表示されます。[Create preview cluster] (プレビュークラスターの作成) ボタンを選択して、クラスターの作成ページを開きます。

  4. クラスターのプロパティを入力します。テストしたい機能を含む [プレビュートラック] を選択します。プレビュートラックにあることを示すクラスターの名前を入力することをお勧めします。テストする機能について、-preview というラベルの付いたオプションを含む、クラスターのオプションを選択します。クラスター作成の詳細については、「Amazon Redshift 管理ガイド」の「クラスターの作成」を参照してください。

  5. [クラスターを作成] を選択して、プレビューのクラスターを作成します。

  6. プレビュークラスターが使用可能になったら、SQL クライアントを使用してデータをロードし、クエリを実行します。

クラスターは preview_2023 という名前のプレビュートラックで作成する必要があります。テストには新しいクラスターを使用してください。このトラックへのクラスターの復元はサポートされていません。自動コピー機能は Amazon Redshift Serverless ワークグループでは使用できません。

このプレビューは以下の AWS リージョン で使用できます。

  • 米国東部 (オハイオ) リージョン (us-east-2)

  • 米国東部 (バージニア北部) リージョン (us-east-1)

  • 米国西部 (オレゴン) リージョン (us-west-2)

  • アジアパシフィック (東京) リージョン (ap-northeast-1)

  • 欧州 (ストックホルム) リージョン (eu-north-1)

  • 欧州 (アイルランド) リージョン (eu-west-1)

COPY JOB を使用して、Amazon S3 に保存されているファイルから Amazon Redshift テーブルにデータをロードすることができます。Amazon Redshift は、COPY コマンドで指定されたパスに新しい Amazon S3 ファイルが追加されたときに検出します。その後、外部データ取り込みパイプラインを作成しなくても、COPY コマンドが自動的に実行されます。Amazon Redshift は、ロードされたファイルを追跡します。Amazon Redshift は、COPY コマンドごとにまとめてバッチ処理されるファイルの数を決定します。結果の COPY コマンドはシステムビューで表示できます。

COPY JOB は 1 回定義します。今後の実行でも同じパラメータが使用されます。

CREATE、LIST、SHOW、DROP、ALTER、RUN の各ジョブのオプションを使用して、ロード操作を管理します。詳細については、「COPY JOB (プレビュー)」を参照してください。

システムビューにクエリを実行して、COPY JOB のステータスと進行状況を確認できます。ビューは次のように表示されます。

COPY JOB によってロードされたファイルのリストを取得するには、以下の例を <job_id> に置き換えて実行します。

SELECT job_id, job_name, data_source, copy_query,filename,status, curtime
FROM sys_copy_job copyjob
JOIN stl_load_commits loadcommit
ON copyjob.job_id = loadcommit.copy_job_id
WHERE job_id = <job_id>;