View a markdown version of this page

Migrez des clusters Apache Kafka autres que MSK vers les courtiers Amazon MSK Express - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Migrez des clusters Apache Kafka autres que MSK vers les courtiers Amazon MSK Express

Vous pouvez utiliser MSK Replicator pour migrer les charges de travail Apache Kafka d'environnements autogérés vers des clusters Amazon MSK Provisioned avec des courtiers Express. MSK Replicator prend en charge la migration des données depuis les déploiements Kafka (Kafka version 2.8.1 ou ultérieure) pour lesquels l'authentification est activée. SASL/SCRAM

Note

L'authentification SASL/SCRAM est requise uniquement pour que MSK Replicator se connecte à votre cluster Kafka autogéré. Vos applications clientes peuvent continuer à utiliser leurs mécanismes d'authentification existants.

Conditions préalables

Avant de commencer, assurez-vous que vous disposez des éléments suivants :

  1. Cluster source Apache Kafka exécutant la version 2.8.1 ou ultérieure

  2. Authentification SASL/SCRAM activée sur le cluster source

  3. Chiffrement SSL configuré sur le cluster source

  4. Connectivité réseau via AWS Site-to-Site VPN ou AWS Direct Connect

  5. Sous-réseaux VPC configurés pour l'accès à Secrets Manager

Pour obtenir des instructions complètes, consultez Configuration des prérequis pour MSK Replicator avec des clusters Apache Kafka autogérés.

Étape 1 : créer un cluster Amazon MSK Express

Créez un cluster MSK provisionné avec des courtiers Express avec l'authentification IAM activée. Minimum trois courtiers répartis sur trois AZs. Consultez Préparer le cluster cible.

Étape 2 : Création d'un rôle d'exécution IAM

Attachez AWSMSKReplicatorExecutionRole et AWSSecretsManagerClientReadOnlyAccess gérez les politiques. Configurez la politique de confiance pourkafka.amazonaws.com. Consultez Configuration des prérequis pour MSK Replicator avec des clusters Apache Kafka autogérés.

Étape 3 : Configuration SASL/SCRAM et SSL sur un cluster autogéré

Créez un utilisateur SCRAM dédié avec les autorisations ACL requises. Configurez les certificats SSL. Consultez Configuration des prérequis pour MSK Replicator avec des clusters Apache Kafka autogérés.

Étape 4 : Stocker les informations d'identification dans AWS Secrets Manager

Créez un secret avec usernamepassword, et des paires certificate clé-valeur. Consultez Configuration des prérequis pour MSK Replicator avec des clusters Apache Kafka autogérés.

Étape 5 : Création du réplicateur

Utilisez une CreateReplicator API avec une position de EARLIEST départ, une réplication de nom de rubrique identique et une synchroniseConsumerGroupOffsets valeur définie surtrue. Si vous prévoyez de configurer la réplication bidirectionnelle pour la fonctionnalité de restauration (étape 6), configurez également cette option ENHANCED sur consumerGroupOffsetSyncMode les réplicateurs direct et inverse. Attendez environ 30 minutes pour que le réplicateur atteigne le statut EN COURS D'EXÉCUTION. Consultez CreateReplicator Exemples d'API pour les clusters Kafka autogérés.

Étape 6 : (Facultatif) Configurer la réplication bidirectionnelle

Créez un réplicateur inversé à partir du cluster MSK Express vers le cluster autogéré pour des fonctionnalités de restauration. Consultez CreateReplicator Exemples d'API pour les clusters Kafka autogérés.

Étape 7 : suivre la progression de la réplication

Surveillez les indicateurs suivants :

  • MessageLag(devrait atteindre 0)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure(devrait être 0)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) et OffsetLag (Non-MSK Cluster)

Pour de plus amples informations, veuillez consulter Surveiller la réplication.

Étape 8 : migrer les applications

Pour migrer vos applications, procédez comme suit :

  1. Empêchez les producteurs d'écrire à un cluster autogéré

  2. Reconfigurez les producteurs vers le cluster MSK Express avec l'authentification IAM

  3. Surveillez MessageLag jusqu'à ce qu'il atteigne 0

  4. Empêchez les consommateurs d'accéder à un cluster autogéré

  5. Reconfigurer les consommateurs vers le cluster MSK Express

Étape 9 : (Facultatif) Revenir au cluster autogéré

Si la réplication bidirectionnelle a été configurée, vous pouvez inverser les étapes de migration pour revenir au cluster autogéré. Le réplicateur inverse (MSK Express → External) aura maintenu le cluster autogéré synchronisé, afin que les consommateurs puissent être redirigés sans perte de données.