Buat replikator menggunakan CLI AWS

Gunakan create-replicator perintah untuk membuat replikator MSK. Sebelum Anda mulai, pastikan Anda memiliki Izin IAM diperlukan untuk membuat Replikator MSK dan telah menyelesaikannyaSiapkan cluster sumber dan target.

catatan

Contoh di bawah ini menunjukkan replikasi antara dua cluster MSK. MSK Replicator juga mendukung replikasi antara cluster Apache Kafka yang dikelola sendiri dan cluster MSK Provisioned dengan broker Express. Untuk contoh API yang mencakup skenario tersebut, lihatCreateReplicator Contoh API untuk cluster Kafka yang dikelola sendiri.

aws kafka create-replicator \
  --replicator-name "<replicator-name>" \
  --service-execution-role-arn "arn:aws:iam::<account-id>:role/<role-name>" \
  --kafka-clusters '[
    {
      "AmazonMskCluster": {"MskClusterArn": "<source-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    },
    {
      "AmazonMskCluster": {"MskClusterArn": "<target-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    }
  ]' \
  --replication-info-list '[
    {
      "SourceKafkaClusterArn": "<source-cluster-arn>",
      "TargetKafkaClusterArn": "<target-cluster-arn>",
      "TopicReplication": {
        "TopicsToReplicate": [".*"],
        "CopyTopicConfigurations": true,
        "CopyAccessControlListsForTopics": true,
        "DetectAndCopyNewTopics": true,
        "StartingPosition": {"Type": "LATEST"},
        "TopicNameConfiguration": {"Type": "PREFIXED"}
      },
      "ConsumerGroupReplication": {
        "ConsumerGroupsToReplicate": [".*"],
        "ConsumerGroupOffsetSyncMode": "LEGACY"
      },
      "TargetCompressionType": "NONE"
    }
  ]'

Untuk mengaktifkan pengiriman log saat membuat replikator, sertakan --log-delivery parameternya. Contoh berikut memungkinkan pengiriman log ke Amazon CloudWatch Logs, Amazon S3, dan Amazon Data Firehose.

aws kafka create-replicator \
  --replicator-name "<replicator-name>" \
  --service-execution-role-arn "arn:aws:iam::<account-id>:role/<role-name>" \
  --kafka-clusters '[
    {
      "AmazonMskCluster": {"MskClusterArn": "<source-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    },
    {
      "AmazonMskCluster": {"MskClusterArn": "<target-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    }
  ]' \
  --replication-info-list '[
    {
      "SourceKafkaClusterArn": "<source-cluster-arn>",
      "TargetKafkaClusterArn": "<target-cluster-arn>",
      "TopicReplication": {
        "TopicsToReplicate": [".*"],
        "CopyTopicConfigurations": true,
        "CopyAccessControlListsForTopics": true,
        "DetectAndCopyNewTopics": true,
        "StartingPosition": {"Type": "LATEST"},
        "TopicNameConfiguration": {"Type": "PREFIXED"}
      },
      "ConsumerGroupReplication": {
        "ConsumerGroupsToReplicate": [".*"]
      },
      "TargetCompressionType": "NONE"
    }
  ]' \
  --log-delivery '{
    "ReplicatorLogDelivery": {
      "CloudWatchLogs": {
        "Enabled": true,
        "LogGroup": "/mskr/logs/<log-group-name>"
      },
      "S3": {
        "Enabled": true,
        "Bucket": "<s3-bucket-name>",
        "Prefix": "<optional-prefix>"
      },
      "Firehose": {
        "Enabled": true,
        "DeliveryStream": "<delivery-stream-name>"
      }
    }
  }'

Anda dapat mengaktifkan satu atau beberapa tujuan pengiriman log. Untuk mengaktifkan hanya CloudWatch Log Amazon, hilangkan Firehose bidang S3 dan, atau setel Enabled nilainya. false Untuk informasi selengkapnya tentang pengiriman log, lihatLog Replikator MSK.

catatan

Saat pengiriman log diaktifkan, peran IAM Anda harus memiliki izin tambahan yang diperlukan untuk menulis ke tujuan log yang dikonfigurasi. Untuk izin yang diperlukan, lihat Mengaktifkan logging dari AWS layanan.

Untuk referensi API selengkapnya, lihat CreateReplicatordi Referensi API MSK Amazon.

Replikasi topik selektif

Gunakan pola regex di dalam topicsToReplicate dan topicsToExclude untuk mengontrol topik mana yang direplikasi. Contoh berikut mereplikasi topik yang dimulai dengan prod- dan mengecualikan topik yang dimulai dengan: test-

"topicReplication": {
  "topicsToReplicate": ["prod-.*"],
  "topicsToExclude": ["test-.*"],
  "detectAndCopyNewTopics": true
}

Verifikasi status Replikator

Setelah membuat Replicator, periksa statusnya menggunakan describe-replicator perintah:

aws kafka describe-replicator \
  --replicator-arn arn:aws:kafka:us-east-1:123456789012:replicator/my-replicator/xxx

Replikator berkembang melalui CREATING → RUNNING negara. Biarkan sekitar 30 menit agar Replicator mencapai RUNNING status. Jika transisi keFAILED, lihatMemecahkan masalah Amazon MSK Replicator.