セルフマネージド Apache Kafka クラスターで MSK レプリケーターの前提条件を設定する

IAM 実行ロールを作成する

の信頼ポリシーを使用して IAM ロールを作成しますkafka.amazonaws.com。AWSMSKReplicatorExecutionRole と AWSSecretsManagerClientReadOnlyAccess管理ポリシーをアタッチします。

信頼ポリシーの例:

{
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"Service": "kafka.amazonaws.com"},
    "Action": "sts:AssumeRole"
  }]
}

SASL/SCRAM ユーザーと ACL アクセス許可を設定する

セルフマネージド Kafka クラスターに専用の SCRAM ユーザーを作成します。次の ACL アクセス許可が必要です。

1. すべてのトピックを読み、記述する

2. すべてのコンシューマーグループで読み、記述する

3. クラスターリソースで記述する

kafka-acls.sh コマンドの例:

# Grant Read and Describe on all topics
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --topic '*'

# Grant Read and Describe on all consumer groups
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --group '*'

# Grant Describe on cluster
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Describe --cluster

セルフマネージドクラスターで SSL を設定する

ブローカーで SSL リスナーを設定します。パブリックに信頼された証明書の場合、追加の設定は必要ありません。プライベート証明書または自己署名証明書の場合は、 AWS Secrets Manager に保存されているシークレットに CA 証明書チェーン全体を含めます。

AWS Secrets Manager に認証情報を保存する

次のキーと値のペアを使用して、Secrets Manager で Other (RDS/Redshift ではない) タイプの AWS シークレットを作成します。

1. username — セルフマネージドクラスターの SCRAM ユーザー名

2. password — セルフマネージドクラスターの SCRAM パスワード

3. certificate — CA 証明書チェーン (PEM 形式。プライベート/自己署名証明書に必要)

ネットワーク接続を設定する

MSK レプリケーターには、セルフマネージド Kafka クラスターへのネットワーク接続が必要です。サポートされているオプション:

• AWS Site-to-Site VPN — インターネット経由でオンプレミスネットワークを VPC に接続します。

• AWS Direct Connect — オンプレミスから への専用プライベートネットワーク接続を確立します AWS。

セキュリティグループの設定

セキュリティグループが SASL_SSL ポート (通常は 9096) の MSK レプリケーターとセルフマネージドクラスター間のトラフィックを許可していることを確認します。VPC セキュリティグループのインバウンドルールと、セルフマネージド型クラスターファイアウォールのアウトバウンドルールの両方を更新します。