View a markdown version of this page

Amazon MSK データ配信 - Amazon Managed Streaming for Apache Kafka

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MSK データ配信

Amazon MSK データ配信を使用すると、コネクタや追加のインフラストラクチャを管理せずに、Amazon MSK Express ブローカーから Amazon S3 に直接 Apache Kafka データを配信できます。Amazon MSK Express は、スケーリング、再試行、バックプレッシャーを自動的に処理し、配信ギャップを発生させることなく、容量スケーリングやバージョンアップグレードなどのルーチンオペレーションを管理します。これらはネイティブブローカー機能であるため、ブローカーの出力スループットは追加されないため、コネクタベースのパイプラインのスケーリングで通常発生する増分インフラストラクチャコストを回避し、ピーク時にプロビジョニングするのではなく、キャパシティを実際のワークロードの需要に一致させることができます。各機能は、最大 10 GBps のスループットをサポートします。

2 つの機能は次のとおりです。

  • Apache Iceberg のストリーミングテーブルへのデータ配信 — Amazon MSK データ配信を使用すると、Apache Kafka トピックを Amazon S3 Tables の Apache Iceberg テーブルとして継続的にマテリアライズできます。インテリジェントなインライン圧縮により、小さなファイルのパフォーマンスへの影響がなくなり、データの鮮度を犠牲にすることなくクエリのパフォーマンスを予測できます。組み込みの調整により、高スループットコンシューマー間での同時ライターの競合が解決されます。Amazon S3 Tables は、圧縮、スナップショットの有効期限、参照されていないファイルのクリーンアップなど、継続的なテーブルメンテナンスを自動的に処理します。

  • Amazon S3 汎用バケットへのデータ配信 — Amazon MSK データ配信を使用すると、Apache Kafka データをソース形式で Amazon S3 汎用バケットに配信してダウンストリーム処理を行い、ミッションクリティカルなワークロードのend-to-endの信頼性を実現できます。これを使用して、ログのアーカイブ、コンプライアンス保持、Kafka リプレイ、AI/ML モデルのトレーニングなどのユースケースのために、Amazon S3 に Kafka データを配置します。このアプローチにより、ワークロードのスケールに応じてコストがかかり、運用が複雑になるセルフマネージド型コネクタパイプラインを構築する必要がなくなります。