Creare un replicatore utilizzando la CLI AWS

Utilizzate il create-replicator comando per creare un replicatore MSK. Prima di iniziare, assicuratevi di avere Autorizzazioni IAM necessarie per creare un replicatore MSK e di averlo completato. Preparate i cluster di origine e di destinazione

Nota

Gli esempi seguenti mostrano la replica tra due cluster MSK. MSK Replicator supporta anche la replica tra cluster Apache Kafka autogestiti e cluster MSK Provisioned con broker Express. Per esempi di API che CreateReplicator Esempi di API per cluster Kafka autogestiti coprono questo scenario, vedi.

aws kafka create-replicator \
  --replicator-name "<replicator-name>" \
  --service-execution-role-arn "arn:aws:iam::<account-id>:role/<role-name>" \
  --kafka-clusters '[
    {
      "AmazonMskCluster": {"MskClusterArn": "<source-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    },
    {
      "AmazonMskCluster": {"MskClusterArn": "<target-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    }
  ]' \
  --replication-info-list '[
    {
      "SourceKafkaClusterArn": "<source-cluster-arn>",
      "TargetKafkaClusterArn": "<target-cluster-arn>",
      "TopicReplication": {
        "TopicsToReplicate": [".*"],
        "CopyTopicConfigurations": true,
        "CopyAccessControlListsForTopics": true,
        "DetectAndCopyNewTopics": true,
        "StartingPosition": {"Type": "LATEST"},
        "TopicNameConfiguration": {"Type": "PREFIXED"}
      },
      "ConsumerGroupReplication": {
        "ConsumerGroupsToReplicate": [".*"],
        "ConsumerGroupOffsetSyncMode": "LEGACY"
      },
      "TargetCompressionType": "NONE"
    }
  ]'

Per abilitare la consegna dei log durante la creazione di un replicatore, includi il --log-delivery parametro. L'esempio seguente abilita la consegna dei log ad Amazon CloudWatch Logs, Amazon S3 e Amazon Data Firehose.

aws kafka create-replicator \
  --replicator-name "<replicator-name>" \
  --service-execution-role-arn "arn:aws:iam::<account-id>:role/<role-name>" \
  --kafka-clusters '[
    {
      "AmazonMskCluster": {"MskClusterArn": "<source-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    },
    {
      "AmazonMskCluster": {"MskClusterArn": "<target-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    }
  ]' \
  --replication-info-list '[
    {
      "SourceKafkaClusterArn": "<source-cluster-arn>",
      "TargetKafkaClusterArn": "<target-cluster-arn>",
      "TopicReplication": {
        "TopicsToReplicate": [".*"],
        "CopyTopicConfigurations": true,
        "CopyAccessControlListsForTopics": true,
        "DetectAndCopyNewTopics": true,
        "StartingPosition": {"Type": "LATEST"},
        "TopicNameConfiguration": {"Type": "PREFIXED"}
      },
      "ConsumerGroupReplication": {
        "ConsumerGroupsToReplicate": [".*"]
      },
      "TargetCompressionType": "NONE"
    }
  ]' \
  --log-delivery '{
    "ReplicatorLogDelivery": {
      "CloudWatchLogs": {
        "Enabled": true,
        "LogGroup": "/mskr/logs/<log-group-name>"
      },
      "S3": {
        "Enabled": true,
        "Bucket": "<s3-bucket-name>",
        "Prefix": "<optional-prefix>"
      },
      "Firehose": {
        "Enabled": true,
        "DeliveryStream": "<delivery-stream-name>"
      }
    }
  }'

Puoi abilitare una o più destinazioni di consegna dei log. Per abilitare solo Amazon CloudWatch Logs, ometti Firehose i campi S3 and o imposta il loro Enabled valore su. false Per ulteriori informazioni sulla consegna dei log, consulta. Registri di MSK Replicator

Nota

Quando la consegna dei log è abilitata, il tuo ruolo IAM deve disporre delle autorizzazioni aggiuntive necessarie per scrivere nella destinazione di log configurata. Per le autorizzazioni richieste, consulta Abilitazione della registrazione dai servizi. AWS

Per il riferimento completo all'API, CreateReplicatorconsulta Amazon MSK API Reference.

Replica selettiva degli argomenti

Usa i modelli regex in topicsToReplicate e topicsToExclude per controllare quali argomenti vengono replicati. L'esempio seguente replica gli argomenti che iniziano con prod- ed esclude gli argomenti che iniziano con: test-

"topicReplication": {
  "topicsToReplicate": ["prod-.*"],
  "topicsToExclude": ["test-.*"],
  "detectAndCopyNewTopics": true
}

Verifica lo stato del replicatore

Dopo aver creato un replicatore, controllatene lo stato usando il describe-replicator comando:

aws kafka describe-replicator \
  --replicator-arn arn:aws:kafka:us-east-1:123456789012:replicator/my-replicator/xxx

Il Replicator avanza attraverso CREATING → stati. RUNNING Attendere circa 30 minuti affinché il Replicator raggiunga lo stato. RUNNING Se passa aFAILED, vedi. Risoluzione dei problemi relativi ad Amazon MSK Replicator