MSK Connect を理解する

MSK Connect は、開発者MSKが Apache Kafka クラスターとの間でデータを簡単にストリーミングできるようにする Amazon の機能です。MSK Connect は、Apache Kafka クラスターをデータベース、検索インデックス、ファイルシステムなどの外部システムに接続するためのオープンソースフレームワークである Kafka Connect 2.7.1 を使用します。MSK Connect を使用すると、Kafka Connect 用に構築されたフルマネージドコネクタをデプロイできます。これにより、Amazon S3 や Amazon OpenSearch Service などの一般的なデータストアにデータを移動したり、そこからデータを取得したりできます。データベースから Apache Kafka クラスターに変更ログをストリーミングするために Debezium などのサードパーティによって開発されたコネクタをデプロイするか、コードを変更せずに既存のコネクタをデプロイできます。コネクタは、ロードの変化に合わせてオートスケーリングされ、使用したリソースに対してのみ料金が発生します。

ソースコネクタを使用して、外部システムからトピックにデータをインポートします。シンクコネクタを使用すると、トピックから外部システムにデータをエクスポートできます。

MSK Connect は、MSKクラスターであっても、個別にホストされた Apache Kafka クラスターであってもVPC、Amazon に接続できる任意の Apache Kafka クラスターのコネクタをサポートしています。

MSK Connect は、コネクタの状態と配信状態を継続的にモニタリングし、基盤となるハードウェアにパッチを適用して管理し、スループットの変化に合わせてコネクタを自動スケーリングします。

MSK Connect の使用を開始するには、「」を参照してくださいMSK Connect の開始方法。

MSK Connect で作成できる AWS リソースについては、、コネクタを理解する、カスタムプラグインの作成および を参照してくださいMSK Connect ワーカーを理解する。

MSK Connect の詳細についてはAPI、「Amazon MSK Connect APIリファレンス」を参照してください。

Amazon MSK Connect を使用する利点

Apache Kafka は、リアルタイムデータストリームの取り込みと処理に最も広く採用されているオープンソースストリーミングプラットフォームの 1 つです。Apache Kafka を使用すると、データ生成アプリケーションとデータ消費アプリケーションを分離して個別にスケーリングできます。

Kafka Connect は、Apache Kafka を使用してストリーミングアプリケーションを構築および実行する上で重要なコンポーネントです。Kafka Connect は、Kafka と外部システム間でデータを移動する標準化された方法を提供します。Kafka Connect はスケーラビリティが高く、大量のデータを処理できます。Kafka Connect は、Kafka トピックと外部システム間でデータを移動するコネクタを設定、デプロイ、モニタリングするための強力なAPIオペレーションとツールのセットを提供します。これらのツールを使用して、ストリーミングアプリケーションの特定のニーズを満たすように Kafka Connect の機能をカスタマイズおよび拡張できます。

Apache Kafka Connect クラスターを単独で運用している場合、またはオープンソースの Apache Kafka Connect アプリケーションを に移行しようとすると、問題が発生する可能性があります AWS。これらの課題には、インフラストラクチャのセットアップとアプリケーションのデプロイに必要な時間、セルフマネージド Apache Kafka Connect クラスターのセットアップ時のエンジニアリング上の障害、管理運用のオーバーヘッドなどがあります。

これらの課題に対処するには、Amazon Managed Streaming for Apache Kafka Connect (Amazon MSK Connect) を使用して、オープンソースの Apache Kafka Connect アプリケーションを に移行することをお勧めします AWS。Amazon MSK Connect は、Kafka Connect を使用して、Apache Kafka クラスターとデータベース、検索インデックス、ファイルシステムなどの外部システムとの間でデータをストリーミングするのを簡素化します。

Amazon MSK Connect に移行する利点をいくつか紹介します。

• 運用上のオーバーヘッドの排除 — Amazon MSK Connect は、Apache Kafka Connect クラスターのパッチ適用、プロビジョニング、スケーリングに関連する運用上の負担を取り除きます。Amazon MSK Connect は、ワークロードを中断することなく、Connect クラスターの正常性を継続的にモニタリングし、パッチ適用とバージョンアップグレードを自動化します。

• Connect タスクの自動再起動 — Amazon MSK Connect は、失敗したタスクを自動的に復旧して、本番環境の中断を軽減できます。タスクの失敗は、Kafka TCPの接続制限を超えるなどの一時的なエラーや、新しいワーカーがシンクコネクタのコンシューマーグループに加わったときのタスクの再調整によって発生する可能性があります。

• 自動水平スケーリングと垂直スケーリング — Amazon MSK Connect を使用すると、コネクタアプリケーションはより高いスループットをサポートするように自動的にスケーリングできます。Amazon MSK Connect はスケーリングを管理します。自動スケーリンググループのワーカー数と使用率のしきい値のみを指定する必要があります。Amazon MSK Connect UpdateConnectorAPIオペレーションを使用して、可変スループット vCPUs をサポートするために を 1 vCPUs から 8 の間で垂直にスケールアップまたはスケールダウンできます。

• プライベートネットワーク接続 — Amazon MSK Connect は、 AWS PrivateLink とプライベートDNS名を使用してソースシステムとシンクシステムにプライベートに接続します。