View a markdown version of this page

非 MSK Apache Kafka クラスターから Amazon MSK Express ブローカーに移行する - Amazon Managed Streaming for Apache Kafka

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

非 MSK Apache Kafka クラスターから Amazon MSK Express ブローカーに移行する

MSK レプリケーターを使用して、Apache Kafka ワークロードをセルフマネージド環境から Express ブローカーを備えた Amazon MSK プロビジョンドクラスターに移行できます。MSK レプリケーターは、SASL/SCRAM 認証が有効になっている Kafka デプロイ (Kafka バージョン 2.8.1 以降) からのデータ移行をサポートします。

注記

SASL/SCRAM 認証は、MSK レプリケーターがセルフマネージド Kafka クラスターに接続するためにのみ必要です。クライアントアプリケーションは、既存の認証メカニズムを引き続き使用できます。

前提条件

開始する前に、次の項目が揃っていることを確認してください。

  1. バージョン 2.8.1 以降を実行するソース Apache Kafka クラスター

  2. ソースクラスターで SASL/SCRAM 認証が有効になっている

  3. ソースクラスターで設定された SSL 暗号化

  4. AWS Site-to-Site VPN または AWS Direct Connect を介したネットワーク接続

  5. Secrets Manager アクセス用に設定された VPC サブネット

詳細な手順については、「セルフマネージド Apache Kafka クラスターで MSK レプリケーターの前提条件を設定する」を参照してください。

ステップ 1: Amazon MSK Express クラスターを作成する

IAM 認証が有効になっている Express ブローカーを使用して MSK プロビジョンドクラスターを作成します。3 つの AZs最低 3 つのブローカー。「ターゲットクラスターを準備する」を参照してください。

ステップ 2: IAM 実行ロールを作成する

AWSSecretsManagerClientReadOnlyAccess 管理ポリシーをアタッチAWSMSKReplicatorExecutionRoleします。の信頼ポリシーを設定しますkafka.amazonaws.com。「セルフマネージド Apache Kafka クラスターで MSK レプリケーターの前提条件を設定する」を参照してください。

ステップ 3: セルフマネージドクラスターで SASL/SCRAM と SSL を設定する

必要な ACL アクセス許可を持つ専用 SCRAM ユーザーを作成します。SSL 証明書を設定します。「セルフマネージド Apache Kafka クラスターで MSK レプリケーターの前提条件を設定する」を参照してください。

ステップ 4: AWS Secrets Manager に認証情報を保存する

username、、passwordおよびcertificateキーと値のペアを使用してシークレットを作成します。「セルフマネージド Apache Kafka クラスターで MSK レプリケーターの前提条件を設定する」を参照してください。

ステップ 5: レプリケーターを作成する

EARLIEST 開始位置、同一トピック名のレプリケーションで CreateReplicator API を使用し、 を synchroniseConsumerGroupOffsetsに設定しますtrue。ロールバック機能 (ステップ 6) の双方向レプリケーションを設定する場合は、フォワードレプリケーターとリバースレプリケーターENHANCEDの両方で も consumerGroupOffsetSyncModeに設定します。レプリケーターが RUNNING ステータスになるまで約 30 分かかります。「セルフマネージド Kafka クラスターの CreateReplicator API の例」を参照してください。

ステップ 6: (オプション) 双方向レプリケーションを設定する

MSK Express クラスターからセルフマネージド型クラスターにロールバック機能用の逆レプリケーターを作成します。「セルフマネージド Kafka クラスターの CreateReplicator API の例」を参照してください。

ステップ 7: レプリケーションの進行状況をモニタリングする

次のメトリクスをモニタリングします。

  • MessageLag (0 に達するはずです)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure (0 にする必要があります)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) および OffsetLag (Non-MSK Cluster)

詳細については、「レプリケーションのモニタリング」を参照してください。

ステップ 8: アプリケーションを移行する

アプリケーションを移行するには、次の手順に従います。

  1. セルフマネージドクラスターへのプロデューサーの書き込みを停止する

  2. IAM 認証を使用してプロデューサーを MSK Express クラスターに再設定する

  3. 0 に達するMessageLagまでモニタリングする

  4. セルフマネージドクラスターでコンシューマーを停止する

  5. MSK Express クラスターへのコンシューマーの再設定

ステップ 9: (オプション) セルフマネージドクラスターにロールバックする

双方向レプリケーションが設定されている場合は、移行ステップを逆にしてセルフマネージドクラスターにロールバックできます。逆レプリケーター (MSK Express → External) はセルフマネージドクラスターを同期させ続けるため、コンシューマーはデータ損失なしでリダイレクトできます。