Crear un replicador mediante la CLI AWS

Utilice el create-replicator comando para crear un replicador de MSK. Antes de empezar, asegúrese de tener el Permisos de IAM obligatorios para crear un Replicador MSK y de haberlo completado. Prepare los clústeres de origen y destino

nota

Los ejemplos siguientes muestran la replicación entre dos clústeres de MSK. MSK Replicator también admite la replicación entre clústeres autogestionados de Apache Kafka y clústeres aprovisionados de MSK con agentes Express. Para ver ejemplos de API que cubren ese escenario, consulte. CreateReplicator Ejemplos de API para clústeres de Kafka autogestionados

aws kafka create-replicator \
  --replicator-name "<replicator-name>" \
  --service-execution-role-arn "arn:aws:iam::<account-id>:role/<role-name>" \
  --kafka-clusters '[
    {
      "AmazonMskCluster": {"MskClusterArn": "<source-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    },
    {
      "AmazonMskCluster": {"MskClusterArn": "<target-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    }
  ]' \
  --replication-info-list '[
    {
      "SourceKafkaClusterArn": "<source-cluster-arn>",
      "TargetKafkaClusterArn": "<target-cluster-arn>",
      "TopicReplication": {
        "TopicsToReplicate": [".*"],
        "CopyTopicConfigurations": true,
        "CopyAccessControlListsForTopics": true,
        "DetectAndCopyNewTopics": true,
        "StartingPosition": {"Type": "LATEST"},
        "TopicNameConfiguration": {"Type": "PREFIXED"}
      },
      "ConsumerGroupReplication": {
        "ConsumerGroupsToReplicate": [".*"],
        "ConsumerGroupOffsetSyncMode": "LEGACY"
      },
      "TargetCompressionType": "NONE"
    }
  ]'

Para habilitar la entrega de registros al crear un replicador, incluya el --log-delivery parámetro. El siguiente ejemplo permite la entrega de CloudWatch registros a Amazon Logs, Amazon S3 y Amazon Data Firehose.

aws kafka create-replicator \
  --replicator-name "<replicator-name>" \
  --service-execution-role-arn "arn:aws:iam::<account-id>:role/<role-name>" \
  --kafka-clusters '[
    {
      "AmazonMskCluster": {"MskClusterArn": "<source-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    },
    {
      "AmazonMskCluster": {"MskClusterArn": "<target-cluster-arn>"},
      "VpcConfig": {
        "SubnetIds": ["<subnet-1>", "<subnet-2>"],
        "SecurityGroupIds": ["<security-group-id>"]
      }
    }
  ]' \
  --replication-info-list '[
    {
      "SourceKafkaClusterArn": "<source-cluster-arn>",
      "TargetKafkaClusterArn": "<target-cluster-arn>",
      "TopicReplication": {
        "TopicsToReplicate": [".*"],
        "CopyTopicConfigurations": true,
        "CopyAccessControlListsForTopics": true,
        "DetectAndCopyNewTopics": true,
        "StartingPosition": {"Type": "LATEST"},
        "TopicNameConfiguration": {"Type": "PREFIXED"}
      },
      "ConsumerGroupReplication": {
        "ConsumerGroupsToReplicate": [".*"]
      },
      "TargetCompressionType": "NONE"
    }
  ]' \
  --log-delivery '{
    "ReplicatorLogDelivery": {
      "CloudWatchLogs": {
        "Enabled": true,
        "LogGroup": "/mskr/logs/<log-group-name>"
      },
      "S3": {
        "Enabled": true,
        "Bucket": "<s3-bucket-name>",
        "Prefix": "<optional-prefix>"
      },
      "Firehose": {
        "Enabled": true,
        "DeliveryStream": "<delivery-stream-name>"
      }
    }
  }'

Puede habilitar uno o más destinos de entrega de registros. Para habilitar solo Amazon CloudWatch Logs, omita los Firehose campos S3 y o establezca su Enabled valor en. false Para obtener más información sobre la entrega de registros, consulteRegistros de MSK Replicator.

nota

Cuando la entrega de registros está habilitada, su función de IAM debe tener los permisos adicionales necesarios para escribir en el destino del registro configurado. Para conocer los permisos necesarios, consulte Habilitar el registro desde AWS los servicios.

Para obtener la referencia completa de la API, consulte CreateReplicatorla referencia de la API de Amazon MSK.

Replicación de temas selectivos

Utilice patrones de expresiones regulares en topicsToReplicate y topicsToExclude para controlar qué temas se replican. En el siguiente ejemplo, se replican los temas que comienzan por prod- y se excluyen los que comienzan por: test-

"topicReplication": {
  "topicsToReplicate": ["prod-.*"],
  "topicsToExclude": ["test-.*"],
  "detectAndCopyNewTopics": true
}

Verifique el estado del replicador

Después de crear un replicador, compruebe su estado mediante el describe-replicator comando:

aws kafka describe-replicator \
  --replicator-arn arn:aws:kafka:us-east-1:123456789012:replicator/my-replicator/xxx

El Replicador progresa a través de CREATING → RUNNING estados. Espere aproximadamente 30 minutos hasta que el Replicador alcance RUNNING el estado. Si pasa aFAILED, consulteSolución de problemas de Amazon MSK Replicator.