ストリーミング取り込み
以前は、いくつかの手順により、Amazon Kinesis などのストリーミングサービスから Amazon Redshift へのデータのロードを行っていました。例えば、ストリームを Amazon Kinesis Data Firehose に接続した上で、Kinesis Data Firehose がさまざまなサイズのバッファー間隔でサイズのバッチを変更しながら、Amazon S3 内でデータをステージングするのを待つ必要がありました。この後、Amazon S3 から Redshift のテーブルにデータをロードするための COPY コマンドが、Kinesis Data Firehose により開始されていました。
ストリーミング取り込みでは、Amazon S3 にステージングするのではなく、Amazon Kinesis Data Streams および Amazon Managed Streaming for Apache Kafka から Amazon Redshift マテリアライズドビューにストリームデータを低レイテンシーかつ高速で取り込むことが可能です。そのため、データアクセスにかかる時間を短縮し、ストレージコストを削減することができます。Amazon Redshift でのマテリアライズドビューの作成 で説明されているように、Amazon Redshift クラスターまたは Amazon Redshift Serverless にストリーミング取り込みを設定することで、SQL ステートメントを使用して、マテリアライズドビューを作成することができます。その後、マテリアライズドビューの更新を使用して、毎秒数百メガバイトのデータを取り込むことができます。これにより、外部データにすばやくアクセスできるので、更新が高速化されます。
データフロー
Amazon Redshift でプロビジョニングされたクラスターがストリームコンシューマーです。マテリアライズドビューは、ストリームから読み込まれるデータのランディング領域であり、このデータは到着時に処理されます。例えば、JSON 値を消費し、使い慣れた SQL を使用して、マテリアライズドビューのデータ列にマッピングすることができます。マテリアライズドビューの更新時、Amazon Redshift のコンピューティングノードは、各 Kinesis データシャードまたは Kafka パーティションをコンピューティングスライスに割り当てます。各スライスは、ビューの内容が Kinesisストリームの SEQUENCE_NUMBER または Kafka トピックの最後の Offset のと同等になるまで、割り当てられたシャードのデータを処理します。後続のマテリアライズドビューでは、以前の更新における最後の SEQUENCE_NUMBER からの読み取りデータが、ストリームデータまたはトピックデータと同等になるまで更新されます。
ストリーミング取り込みのユースケース
Amazon Redshift でのストリーミング取り込みのユースケースは、継続的に生成 (ストリーミング) され、その生成から短期間 (低レイテンシー) の内に処理する必要があるデータの処理を含みます。これは、ほぼリアルタイムの分析と呼ばれます。このためのデータソースは、IOT デバイス、システムテレメトリーデータ、またはビジー状態のウェブサイトやアプリケーションからのクリックストリームデータなど、さまざまなものがあります。
ストリーミング取り込みに関する考慮事項
ストリーミング取り込み環境を設定する際の、パフォーマンスと請求に関する重要な考慮事項とベストプラクティスを次に示します。
自動更新の使用 - マテリアライズドビューに対する自動更新クエリは、他のユーザーワークロードと同様に扱われます。自動更新は、ストリームが到達するとデータをロードします。
-
ストリーミングの取り込みと Amazon Redshift Serverless — プロビジョニングされたクラスターでの Amazon Redshift ストリーミングの取り込みに適用されるのと同じセットアップと設定の手順が、Amazon Redshift Serverless でのストリーミング取り込みにも適用されます。自動更新やその他のワークロードによるストリーミングの取り込みをサポートするために必要なレベルの RPU で Amazon Redshift Serverless のサイズを設定することが重要です。詳細については、「Amazon Redshift Serverless の料金」を参照してください。
-
Amazon MSK クラスターとは異なるアベイラビリティーゾーンにある Amazon Redshift ノード - ストリーミング取り込みを設定すると、Amazon MSK のラック認識が有効になっている場合、Amazon Redshift は同じアベイラビリティーゾーンの Amazon MSK クラスターへの接続を試みます。すべてのノードが Amazon Redshift クラスターとは異なるアベイラビリティーゾーンにある場合、アベイラビリティーゾーン間のデータ転送コストが発生する可能性があります。これを回避するには、Amazon Redshift クラスターと同じ AZ に少なくとも 1 つの Amazon MSK ブローカークラスターノードを置いてください。
-
更新の開始場所 - マテリアライズドビューを作成すると、最初の更新は
TRIM_HORIZONKinesis ストリームまたは Amazon MSK トピックのオフセット 0 から始まります。 -
データ形式 - サポートされるデータ形式は、
VARBYTEからの変換が可能なデータ形式に限られます。詳細については、VARBYTE 型 および VARBYTE 演算子 を参照してください。 複数のマテリアライズドビューへのストリーミング - Amazon Redshift では、ほとんどの場合、各ストリームのデータを 1 つのマテリアライズドビューに配置することをお勧めします。ただし、ストリームを取り込んでデータを複数のマテリアライズドビューに配置することは可能です。例えば、スポーツデータを含むストリームを取り込み、各スポーツのデータを個別のマテリアライズドビューに整理するユースケースの場合などです。
複数のマテリアライズドビューにデータを取り込んで更新すると、特にストリーミングプロバイダーからデータを読み取る場合、出力コストが高くなる可能性があることに注意してください。さらに、複数のマテリアライズドビューを読み込む際のリソース使用率が高くなると、他のワークロードに影響を与える可能性があります。また、ストリーミングプロバイダーの帯域幅、スループット、パフォーマンスの制限にも注意してください。データストリームの料金の詳細については、「Kinesis Data Streams pricing」(Kinesis Data Streams の料金) および「Amazon Managed Streaming for Apache Kafka pricing」(Amazon Managed Streaming for Apache Kafka の料金) を参照してください。
制約事項
| 機能または動作 | 説明 |
|---|---|
| Kafka トピックの長さ制限 | Kafka トピックの名前は 128 文字 (引用符は含まない) を超えることはできません。詳細については、「名前と識別子」を参照してください。 |
| マテリアライズドビューでの増分の更新と JOIN | マテリアライズドビューは、増分的な保守が可能である必要があります。Kinesis や Amazon MSK では、24 時間または 7 日前のストリームやトピックの履歴は保持されないため、完全な再計算は不可能です。Kinesis または Amazon MSK では、より長いデータ保持期間を設定することができます。ただし、これによりメンテナンスとコストが増える可能性があります。また、現在、Kinesis Streams や Amazon MSK トピックで作成されたマテリアライズドビューでは、JOIN の使用はサポートされていません。ストリームやトピックでマテリアライズドビューを作成した後、別のマテリアライズドビューを作成して、ストリーミングのマテリアライズドビューと他のマテリアライズドビュー、テーブル、またはビューとの結合のために使用できます。 詳細については、「REFRESH MATERIALIZED VIEW」を参照してください。 |
| レコード解析 | Amazon Redshift のストリーミング取り込みでは、Kinesis プロデューサーライブラリ (KPL の重要なコンセプト) によって集計されたレコードの解析をサポートしていません。集計されたレコードは取り込まれますが、バイナリプロトコルのバッファデータとして格納されます。(詳細については「Protocol buffers |
| 解凍 |
|
| レコードの最大サイズ | Amazon Redshift が Kinesis または Amazon MSK から取り込むことができるレコードフィールドの最大サイズは、1 MB をわずかに下回ります。動作の詳細は以下のとおりです。
|
| エラーレコード | データのサイズが最大サイズを超えているためにレコードを Amazon Redshift に取り込めない場合は、そのレコードはスキップされます。この場合でも、マテリアライズドビューの更新は成功し、各エラーレコードのセグメントが SYS_STREAM_SCAN_ERRORS システムテーブルに書き込まれます。計算のエラーやタイプ変換によるエラーなど、ビジネスロジックに起因するエラーはスキップされません。マテリアライズドビュー定義にロジックを追加する前に、ロジックを注意深くテストして、これらを回避してください。 |
