Répliquez des bases de données mainframe sur AWS à l'aide de Precisely Connect

PDF

Créée par Lucio Pereira (AWS), Balaji Mohan (AWS) et Sayantan Giri (AWS)

Récapitulatif

Ce modèle décrit les étapes à suivre pour répliquer les données des bases de données mainframe vers les magasins de données Amazon en temps quasi réel à l'aide de Precisely Connect. Il met en œuvre une architecture basée sur les événements avec Amazon Managed Streaming for Apache Kafka (Amazon MSK) et des connecteurs de base de données personnalisés dans le cloud afin d'améliorer l'évolutivité, la résilience et les performances.

Precisely Connect est un outil de réplication qui capture les données des systèmes mainframe existants et les intègre dans des environnements cloud. Les données sont répliquées des mainframes vers AWS par le biais de la capture des données de modification (CDC) en utilisant des flux de messages en temps quasi réel avec des pipelines de données hétérogènes à faible latence et à haut débit. 

Ce modèle couvre également une stratégie de reprise après sinistre pour des pipelines de données résilients avec réplication des données multirégions et routage sur incident.

Conditions préalables et limitations

Prérequis

• Une base de données mainframe existante, par exemple IBM DB2, IBM Information Management System (IMS) ou Virtual Storage Access Method (VSAM), que vous souhaitez répliquer dans le cloud AWS

• Un compte AWS actif

• AWS Direct Connect ou réseau privé virtuel AWS (AWS VPN) entre votre environnement d'entreprise et AWS

• Un cloud privé virtuel doté d'un sous-réseau accessible par votre ancienne plateforme

Architecture

Pile technologique source

Un environnement mainframe qui inclut au moins l'une des bases de données suivantes :

• Base de données IBM IMS

• Base de DB2 données IBM

• fichiers VSAM

Pile technologique cible

• Amazon MSK

• Amazon Elastic Kubernetes Service (Amazon EKS) et Amazon EKS Anywhere

• Docker

• Une base de données relationnelle ou NoSQL AWS telle que la suivante :

  • Amazon DynamoDB

  • Amazon Relational Database Service (Amazon RDS) pour Oracle, Amazon RDS pour PostgreSQL ou Amazon Aurora

  • Amazon ElastiCache pour Redis

  • Amazon Keyspaces (pour Apache Cassandra)

Architecture cible

Réplication des données du mainframe vers des bases de données AWS

Le schéma suivant illustre la réplication des données du mainframe vers une base de données AWS telle que DynamoDB, Amazon RDS, Amazon ou Amazon Keyspaces ElastiCache. La réplication s'effectue en temps quasi réel à l'aide de Precisely Capture et Publisher dans votre environnement mainframe sur site, de Precisely Dispatcher sur Amazon EKS Anywhere dans votre environnement distribué sur site, et de Precisely Apply Engine et des connecteurs de base de données dans le cloud AWS. 

Le schéma suivant illustre le flux de travail suivant :

1. Precisely Capture extrait les données du mainframe à partir des journaux du CDC et les conserve dans un stockage transitoire interne.

2. Precisely Publisher écoute les modifications apportées au stockage interne des données et envoie les enregistrements CDC à Precisely Dispatcher via une connexion TCP/IP.

3. Precisely Dispatcher reçoit les enregistrements CDC de Publisher et les envoie à Amazon MSK. Dispatcher crée des clés Kafka en fonction de la configuration utilisateur et de plusieurs tâches de travail pour envoyer des données en parallèle. Dispatcher envoie un accusé de réception à Publisher lorsque les enregistrements ont été stockés dans Amazon MSK.

4. Amazon MSK détient les dossiers du CDC dans l'environnement cloud. La taille de partition des sujets dépend des exigences de débit de votre système de traitement des transactions (TPS). La clé Kafka est obligatoire pour toute transformation ultérieure et pour la commande de transactions.

5. Le moteur Precisely Apply écoute les enregistrements CDC d'Amazon MSK et transforme les données (par exemple, par filtrage ou mappage) en fonction des exigences de la base de données cible. Vous pouvez ajouter une logique personnalisée aux scripts Precisely SQD. (SQD est le langage propriétaire de Precisely.) Le moteur Precisely Apply transforme chaque enregistrement CDC au format Apache Avro ou JSON et le distribue à différents sujets en fonction de vos besoins.

6. Les rubriques Kafka cibles contiennent des enregistrements CDC dans plusieurs rubriques en fonction de la base de données cible, et Kafka facilite l'ordre des transactions en fonction de la clé Kafka définie. Les clés de partition s'alignent sur les partitions correspondantes pour permettre un processus séquentiel. 

7. Les connecteurs de base de données (applications Java personnalisées) écoutent les enregistrements CDC d'Amazon MSK et les stockent dans la base de données cible.

8. Vous pouvez sélectionner une base de données cible en fonction de vos besoins. Ce modèle prend en charge à la fois les bases de données NoSQL et relationnelles.

Reprise après sinistre

La continuité des activités est essentielle au succès de votre entreprise. Le cloud AWS fournit des fonctionnalités de haute disponibilité (HA) et de reprise après sinistre (DR), et prend en charge les plans de reprise et de secours de votre organisation. Ce modèle suit une stratégie de reprise après sinistre active/passive et fournit des conseils de haut niveau pour la mise en œuvre d'une stratégie de reprise après sinistre qui répond à vos exigences en matière de RTO et de RPO.

Le schéma suivant illustre le flux de travail DR.

Le diagramme décrit les éléments suivants :

1. Un basculement semi-automatique est nécessaire en cas de panne dans la région 1 d'AWS. En cas de panne dans la région 1, le système doit initier les modifications de routage pour connecter Precisely Dispatcher à la région 2. 

2. Amazon MSK réplique les données par le biais de la mise en miroir entre les régions. C'est pourquoi, lors du basculement, le cluster Amazon MSK de la région 2 doit être promu en tant que principal leader. 

3. Le moteur Precisely Apply et les connecteurs de base de données sont des applications sans état qui peuvent fonctionner dans n'importe quelle région. 

4. La synchronisation des bases de données dépend de la base de données cible. Par exemple, DynamoDB peut utiliser des tables globales ElastiCache et des banques de données globales.

Traitement à faible latence et haut débit via des connecteurs de base de données

Les connecteurs de base de données sont des composants essentiels de ce modèle. Les connecteurs suivent une approche basée sur les écouteurs pour collecter les données d'Amazon MSK et envoyer des transactions à la base de données via un traitement à haut débit et à faible latence pour les applications critiques (niveaux 0 et 1). Le schéma suivant illustre ce processus.

Ce modèle permet le développement d'une application personnalisée consommant un seul thread grâce à un moteur de traitement multithread.

1. Le thread principal du connecteur consomme les enregistrements CDC d'Amazon MSK et les envoie au pool de threads pour traitement.

2. Les threads du pool de threads traitent les enregistrements CDC et les envoient à la base de données cible.

3. Si tous les threads sont occupés, les enregistrements CDC sont conservés par la file d'attente des threads.

4. Le thread principal attend que tous les enregistrements soient effacés de la file d'attente des threads et valide les offsets dans Amazon MSK.

5. Les threads enfants gèrent les défaillances. En cas d'échec pendant le traitement, les messages d'échec sont envoyés à la rubrique DLQ (file d'attente de lettres mortes).

6. Les threads enfants initient les mises à jour conditionnelles (voir Expressions de condition dans la documentation DynamoDB), en fonction de l'horodatage du mainframe, afin d'éviter toute duplication ou mise à jour dans la base de données. out-of-order

Pour plus d'informations sur la mise en œuvre d'une application client Kafka dotée de fonctionnalités multithreading, consultez le billet de blog intitulé Multi-Threaded Message Consumption with the Apache Kafka Consumer sur le site Web de Confluent.

Outils

Services AWS

• Amazon Managed Streaming for Apache Kafka (Amazon MSK) est un service entièrement géré qui vous permet de créer et d'exécuter des applications utilisant Apache Kafka pour traiter les données de streaming.

• Amazon Elastic Kubernetes Service (Amazon EKS) vous aide à exécuter Kubernetes sur AWS sans avoir à installer ou à gérer votre propre plan de contrôle ou vos propres nœuds Kubernetes.

• Amazon EKS Anywhere vous aide à déployer, utiliser et gérer des clusters Kubernetes exécutés dans vos propres centres de données.

• Amazon DynamoDB est un service de base de données NoSQL entièrement géré, offrant des performances rapides, prévisibles et évolutives.

• Amazon Relational Database Service (Amazon RDS) vous aide à configurer, exploiter et dimensionner une base de données relationnelle dans le cloud AWS.

• Amazon vous ElastiCache aide à configurer, à gérer et à faire évoluer des environnements de cache en mémoire distribués dans le cloud AWS.

• Amazon Keyspaces (pour Apache Cassandra) est un service de base de données géré qui vous aide à migrer, exécuter et dimensionner vos charges de travail Cassandra dans le cloud AWS.

Autres outils

• Precisely Connect intègre les données des systèmes mainframe existants tels que les ensembles de données VSAM ou les bases de données mainframe IBM dans des plateformes cloud et de données de nouvelle génération.

Bonnes pratiques

• Trouvez la meilleure combinaison de partitions Kafka et de connecteurs multithread pour trouver le meilleur équilibre entre performances et coûts. Plusieurs instances de Precisely Capture et Dispatcher peuvent augmenter les coûts en raison de la consommation plus élevée de MIPS (millions d'instructions par seconde).

• Évitez d'ajouter une logique de manipulation et de transformation des données aux connecteurs de base de données. Pour ce faire, utilisez le moteur Precisely Apply, qui fournit les temps de traitement en microsecondes.

• Créez des appels périodiques de demande ou de vérification de l'état de la base de données (pulsations cardiaques) dans les connecteurs de base de données afin de réchauffer fréquemment la connexion et de réduire le temps de latence.

• Implémentez une logique de validation du pool de threads pour comprendre les tâches en attente dans la file d'attente des threads et attendez que tous les threads soient terminés avant le prochain sondage Kafka. Cela permet d'éviter la perte de données en cas de panne d'un nœud, d'un conteneur ou d'un processus.

• Exposez les mesures de latence via les points de terminaison de santé afin d'améliorer les capacités d'observabilité grâce à des tableaux de bord et à des mécanismes de suivi.

Épopées

Préparation de l'environnement source (sur site)

Tâche	Description	Compétences requises
Configurez le processus du mainframe (batch ou utilitaire en ligne) pour démarrer le processus CDC à partir des bases de données du mainframe.	Identifiez l'environnement du mainframe. Identifiez les bases de données mainframe qui seront impliquées dans le processus du CDC. Dans l'environnement mainframe, développez un processus qui lance l'outil CDC pour capturer les modifications apportées à la base de données source. Pour obtenir des instructions, consultez la documentation de votre ordinateur central. Documentez le processus du CDC, y compris la configuration. Déployez le processus dans les environnements de test et de production.	Ingénieur mainframe
Activez les flux de journaux de la base de données mainframe.	Configurez les flux de journaux dans l'environnement mainframe pour capturer les journaux CDC. Pour obtenir des instructions, consultez la documentation de votre ordinateur central. Testez les flux de journaux pour vous assurer qu'ils capturent les données nécessaires. Déployez les flux de journaux dans les environnements de test et de production.	Spécialiste des bases de données mainframe
Utilisez le composant Capture pour capturer les enregistrements CDC.	Installez et configurez le composant Precisely Capture dans l'environnement mainframe. Pour obtenir des instructions, consultez la documentation Precisely. Testez la configuration pour vous assurer que le composant Capture fonctionne correctement. Configurez un processus de réplication pour répliquer les enregistrements CDC capturés via le composant Capture. Documentez la configuration de capture pour chaque base de données source. Développez un système de surveillance pour garantir que le composant Capture collecte correctement les journaux au fil du temps. Déployez l'installation et les configurations dans les environnements de test et de production.	Ingénieur mainframe, Precisely Connect SME
Configurez le composant Publisher pour écouter le composant Capture.	Installez et configurez le composant Precisely Publisher dans l'environnement mainframe. Pour obtenir des instructions, consultez la documentation Precisely. Testez la configuration pour vous assurer que le composant Publisher fonctionne correctement. Configurez un processus de réplication pour publier les enregistrements CDC sur le composant Precisely Dispatcher à partir de Publisher. Documentez la configuration de Publisher. Développez un système de surveillance pour garantir le bon fonctionnement du composant Publisher au fil du temps. Déployez l'installation et les configurations dans les environnements de test et de production.	Ingénieur mainframe, Precisely Connect SME
Provisionnez Amazon EKS Anywhere dans l'environnement distribué sur site.	Installez Amazon EKS Anywhere sur l'infrastructure sur site et assurez-vous qu'elle est correctement configurée. Pour obtenir des instructions, consultez la documentation Amazon EKS Anywhere. Configurez un environnement réseau sécurisé pour le cluster Kubernetes, y compris des pare-feux. Implémentez et testez l'exemple de déploiement de l'application sur le cluster Amazon EKS Anywhere. Mettez en œuvre des fonctionnalités de dimensionnement automatique pour le cluster. Développez et mettez en œuvre des procédures de sauvegarde et de reprise après sinistre.	DevOps ingénieur
Déployez et configurez le composant Dispatcher dans l'environnement distribué pour publier les rubriques dans le cloud AWS.	Configurez et conteneurisez le composant Precisely Dispatcher. Pour obtenir des instructions, consultez la documentation Precisely. Déployez l'image Dispatcher Docker dans l'environnement Amazon EKS Anywhere sur site. Configurez une connexion sécurisée entre le cloud AWS et Dispatcher. Développez un système de surveillance pour garantir le bon fonctionnement du composant Dispatcher au fil du temps. Déployez l'installation et les configurations dans les environnements de test et de production.	DevOps ingénieur, Precisely Connect PME

Préparation de l'environnement source (sur site)

Tâche	Description	Compétences requises
Configurez le processus du mainframe (batch ou utilitaire en ligne) pour démarrer le processus CDC à partir des bases de données du mainframe.	Identifiez l'environnement du mainframe. Identifiez les bases de données mainframe qui seront impliquées dans le processus du CDC. Dans l'environnement mainframe, développez un processus qui lance l'outil CDC pour capturer les modifications apportées à la base de données source. Pour obtenir des instructions, consultez la documentation de votre ordinateur central. Documentez le processus du CDC, y compris la configuration. Déployez le processus dans les environnements de test et de production.	Ingénieur mainframe
Activez les flux de journaux de la base de données mainframe.	Configurez les flux de journaux dans l'environnement mainframe pour capturer les journaux CDC. Pour obtenir des instructions, consultez la documentation de votre ordinateur central. Testez les flux de journaux pour vous assurer qu'ils capturent les données nécessaires. Déployez les flux de journaux dans les environnements de test et de production.	Spécialiste des bases de données mainframe
Utilisez le composant Capture pour capturer les enregistrements CDC.	Installez et configurez le composant Precisely Capture dans l'environnement mainframe. Pour obtenir des instructions, consultez la documentation Precisely. Testez la configuration pour vous assurer que le composant Capture fonctionne correctement. Configurez un processus de réplication pour répliquer les enregistrements CDC capturés via le composant Capture. Documentez la configuration de capture pour chaque base de données source. Développez un système de surveillance pour garantir que le composant Capture collecte correctement les journaux au fil du temps. Déployez l'installation et les configurations dans les environnements de test et de production.	Ingénieur mainframe, Precisely Connect SME
Configurez le composant Publisher pour écouter le composant Capture.	Installez et configurez le composant Precisely Publisher dans l'environnement mainframe. Pour obtenir des instructions, consultez la documentation Precisely. Testez la configuration pour vous assurer que le composant Publisher fonctionne correctement. Configurez un processus de réplication pour publier les enregistrements CDC sur le composant Precisely Dispatcher à partir de Publisher. Documentez la configuration de Publisher. Développez un système de surveillance pour garantir le bon fonctionnement du composant Publisher au fil du temps. Déployez l'installation et les configurations dans les environnements de test et de production.	Ingénieur mainframe, Precisely Connect SME
Provisionnez Amazon EKS Anywhere dans l'environnement distribué sur site.	Installez Amazon EKS Anywhere sur l'infrastructure sur site et assurez-vous qu'elle est correctement configurée. Pour obtenir des instructions, consultez la documentation Amazon EKS Anywhere. Configurez un environnement réseau sécurisé pour le cluster Kubernetes, y compris des pare-feux. Implémentez et testez l'exemple de déploiement de l'application sur le cluster Amazon EKS Anywhere. Mettez en œuvre des fonctionnalités de dimensionnement automatique pour le cluster. Développez et mettez en œuvre des procédures de sauvegarde et de reprise après sinistre.	DevOps ingénieur
Déployez et configurez le composant Dispatcher dans l'environnement distribué pour publier les rubriques dans le cloud AWS.	Configurez et conteneurisez le composant Precisely Dispatcher. Pour obtenir des instructions, consultez la documentation Precisely. Déployez l'image Dispatcher Docker dans l'environnement Amazon EKS Anywhere sur site. Configurez une connexion sécurisée entre le cloud AWS et Dispatcher. Développez un système de surveillance pour garantir le bon fonctionnement du composant Dispatcher au fil du temps. Déployez l'installation et les configurations dans les environnements de test et de production.	DevOps ingénieur, Precisely Connect PME

Préparation de l'environnement cible (AWS)

Tâche	Description	Compétences requises
Provisionnez un cluster Amazon EKS dans la région AWS désignée.	Connectez-vous à votre compte AWS et configurez-le pour vous assurer que les autorisations nécessaires sont en place pour créer et gérer le cluster Amazon EKS. Créez un cloud privé virtuel (VPC) et des sous-réseaux dans la région AWS sélectionnée. Pour obtenir des instructions, consultez la documentation Amazon EKS. Créez et configurez les groupes de sécurité réseau nécessaires pour permettre les communications entre le cluster Amazon EKS et les autres ressources du VPC. Pour plus d'informations, consultez la documentation Amazon EKS. Créez le cluster Amazon EKS et configurez-le avec la taille de groupe de nœuds et les types d'instances appropriés. Validez le cluster Amazon EKS en déployant un exemple d'application.	DevOps ingénieur, administrateur réseau
Provisionnez un cluster MSK et configurez les rubriques Kafka applicables.	Configurez votre compte AWS pour vous assurer que les autorisations nécessaires sont en place pour créer et gérer le cluster MSK. Créez et configurez les groupes de sécurité réseau nécessaires pour permettre les communications entre le cluster MSK et les autres ressources du VPC. Pour plus d'informations, consultez la documentation Amazon VPC. Créez le cluster MSK et configurez-le pour inclure les sujets Kafka qui seront utilisés par l'application. Pour plus d'informations, consultez la documentation Amazon MSK.	DevOps ingénieur, administrateur réseau
Configurez le composant Apply Engine pour écouter les sujets Kafka répliqués.	Configurez et conteneurisez le composant Precisely Apply Engine. Déployez l'image Docker d'Apply Engine dans le cluster Amazon EKS de votre compte AWS. Configurez le moteur d'application pour écouter les sujets MSK. Développez et configurez un script SQD dans le moteur Apply pour gérer le filtrage et la transformation. Pour plus d'informations, consultez la documentation Precisely. Déployez le moteur Apply dans des environnements de test et de production.	Precisely Connect PME
Provisionnez des instances de base de données dans le cloud AWS.	Configurez votre compte AWS pour vous assurer que les autorisations nécessaires sont en place pour créer et gérer des clusters et des tables de base de données. Pour obtenir des instructions, consultez la documentation AWS relative au service de base de données AWS que vous souhaitez utiliser. (Voir la section Ressources pour les liens.) Créez un VPC et des sous-réseaux dans la région AWS sélectionnée. Créez et configurez les groupes de sécurité réseau nécessaires pour permettre les communications entre les instances de base de données et les autres ressources du VPC. Créez les bases de données et configurez-les pour inclure les tables que l'application utilisera. Concevez et validez les schémas de base de données.	Ingénieur de données, DevOps ingénieur
Configurez et déployez des connecteurs de base de données pour écouter les rubriques publiées par le moteur Apply.	Concevez des connecteurs de base de données pour connecter les rubriques Kafka aux bases de données AWS que vous avez créées au cours des étapes précédentes. Développez les connecteurs en fonction de la base de données cible. Configurez les connecteurs pour écouter les sujets Kafka publiés par le moteur Apply. Déployez les connecteurs dans le cluster Amazon EKS.	Développeur d'applications, Architecte cloud, Ingénieur de données

Préparation de l'environnement cible (AWS)

Tâche	Description	Compétences requises
Provisionnez un cluster Amazon EKS dans la région AWS désignée.	Connectez-vous à votre compte AWS et configurez-le pour vous assurer que les autorisations nécessaires sont en place pour créer et gérer le cluster Amazon EKS. Créez un cloud privé virtuel (VPC) et des sous-réseaux dans la région AWS sélectionnée. Pour obtenir des instructions, consultez la documentation Amazon EKS. Créez et configurez les groupes de sécurité réseau nécessaires pour permettre les communications entre le cluster Amazon EKS et les autres ressources du VPC. Pour plus d'informations, consultez la documentation Amazon EKS. Créez le cluster Amazon EKS et configurez-le avec la taille de groupe de nœuds et les types d'instances appropriés. Validez le cluster Amazon EKS en déployant un exemple d'application.	DevOps ingénieur, administrateur réseau
Provisionnez un cluster MSK et configurez les rubriques Kafka applicables.	Configurez votre compte AWS pour vous assurer que les autorisations nécessaires sont en place pour créer et gérer le cluster MSK. Créez et configurez les groupes de sécurité réseau nécessaires pour permettre les communications entre le cluster MSK et les autres ressources du VPC. Pour plus d'informations, consultez la documentation Amazon VPC. Créez le cluster MSK et configurez-le pour inclure les sujets Kafka qui seront utilisés par l'application. Pour plus d'informations, consultez la documentation Amazon MSK.	DevOps ingénieur, administrateur réseau
Configurez le composant Apply Engine pour écouter les sujets Kafka répliqués.	Configurez et conteneurisez le composant Precisely Apply Engine. Déployez l'image Docker d'Apply Engine dans le cluster Amazon EKS de votre compte AWS. Configurez le moteur d'application pour écouter les sujets MSK. Développez et configurez un script SQD dans le moteur Apply pour gérer le filtrage et la transformation. Pour plus d'informations, consultez la documentation Precisely. Déployez le moteur Apply dans des environnements de test et de production.	Precisely Connect PME
Provisionnez des instances de base de données dans le cloud AWS.	Configurez votre compte AWS pour vous assurer que les autorisations nécessaires sont en place pour créer et gérer des clusters et des tables de base de données. Pour obtenir des instructions, consultez la documentation AWS relative au service de base de données AWS que vous souhaitez utiliser. (Voir la section Ressources pour les liens.) Créez un VPC et des sous-réseaux dans la région AWS sélectionnée. Créez et configurez les groupes de sécurité réseau nécessaires pour permettre les communications entre les instances de base de données et les autres ressources du VPC. Créez les bases de données et configurez-les pour inclure les tables que l'application utilisera. Concevez et validez les schémas de base de données.	Ingénieur de données, DevOps ingénieur
Configurez et déployez des connecteurs de base de données pour écouter les rubriques publiées par le moteur Apply.	Concevez des connecteurs de base de données pour connecter les rubriques Kafka aux bases de données AWS que vous avez créées au cours des étapes précédentes. Développez les connecteurs en fonction de la base de données cible. Configurez les connecteurs pour écouter les sujets Kafka publiés par le moteur Apply. Déployez les connecteurs dans le cluster Amazon EKS.	Développeur d'applications, Architecte cloud, Ingénieur de données

Configurez la continuité des activités et la reprise après sinistre

Tâche	Description	Compétences requises
Définissez des objectifs de reprise après sinistre pour vos applications professionnelles.	Définissez les objectifs de RPO et de RTO pour les pipelines CDC en fonction des besoins de votre entreprise et de l'analyse d'impact. Définissez les procédures de communication et de notification pour vous assurer que toutes les parties prenantes sont informées du plan de reprise après sinistre. Déterminez le budget et les ressources nécessaires pour mettre en œuvre le plan de reprise après sinistre. Documentez les objectifs de reprise après sinistre, y compris les objectifs RPO et RTO.	Architecte cloud, ingénieur des données, propriétaire de l'application
Concevez des stratégies de reprise après sinistre basées sur un RTO/RPO défini.	Déterminez les stratégies de reprise après sinistre les plus appropriées pour les pipelines CDC en fonction de votre criticité et de vos exigences en matière de reprise. Définissez l'architecture et la topologie de reprise après sinistre. Définissez les procédures de basculement et de retour en arrière pour les pipelines CDC afin de garantir leur basculement rapide et fluide vers la région de sauvegarde. Documentez les stratégies et procédures de reprise après sinistre et assurez-vous que toutes les parties prenantes ont une compréhension claire de la conception.	Architecte cloud, ingénieur de données
Provisionnez des clusters et des configurations de reprise après sinistre.	Provisionnez une région AWS secondaire pour la reprise après sinistre. Dans la région AWS secondaire, créez un environnement identique à la région AWS principale. Configurez Apache Kafka MirrorMaker entre les régions principale et secondaire. Pour plus d'informations, consultez la documentation Amazon MSK. Configurez les applications de secours dans la région secondaire. Configurez les réplications de base de données entre les régions principale et secondaire.	DevOps ingénieur, administrateur réseau, architecte cloud
Testez le pipeline du CDC pour la reprise après sinistre.	Définissez la portée et les objectifs du test de reprise après sinistre pour le pipeline CDC, y compris les scénarios de test et le RTO à atteindre. Identifiez l'environnement de test et l'infrastructure pour effectuer le test de reprise après sinistre. Préparez les ensembles de données de test et le script pour simuler des scénarios de défaillance. Vérifiez l'intégrité et la cohérence des données pour éviter toute perte de données.	Propriétaire de l'application, ingénieur de données, architecte cloud

Configurez la continuité des activités et la reprise après sinistre

Tâche	Description	Compétences requises
Définissez des objectifs de reprise après sinistre pour vos applications professionnelles.	Définissez les objectifs de RPO et de RTO pour les pipelines CDC en fonction des besoins de votre entreprise et de l'analyse d'impact. Définissez les procédures de communication et de notification pour vous assurer que toutes les parties prenantes sont informées du plan de reprise après sinistre. Déterminez le budget et les ressources nécessaires pour mettre en œuvre le plan de reprise après sinistre. Documentez les objectifs de reprise après sinistre, y compris les objectifs RPO et RTO.	Architecte cloud, ingénieur des données, propriétaire de l'application
Concevez des stratégies de reprise après sinistre basées sur un RTO/RPO défini.	Déterminez les stratégies de reprise après sinistre les plus appropriées pour les pipelines CDC en fonction de votre criticité et de vos exigences en matière de reprise. Définissez l'architecture et la topologie de reprise après sinistre. Définissez les procédures de basculement et de retour en arrière pour les pipelines CDC afin de garantir leur basculement rapide et fluide vers la région de sauvegarde. Documentez les stratégies et procédures de reprise après sinistre et assurez-vous que toutes les parties prenantes ont une compréhension claire de la conception.	Architecte cloud, ingénieur de données
Provisionnez des clusters et des configurations de reprise après sinistre.	Provisionnez une région AWS secondaire pour la reprise après sinistre. Dans la région AWS secondaire, créez un environnement identique à la région AWS principale. Configurez Apache Kafka MirrorMaker entre les régions principale et secondaire. Pour plus d'informations, consultez la documentation Amazon MSK. Configurez les applications de secours dans la région secondaire. Configurez les réplications de base de données entre les régions principale et secondaire.	DevOps ingénieur, administrateur réseau, architecte cloud
Testez le pipeline du CDC pour la reprise après sinistre.	Définissez la portée et les objectifs du test de reprise après sinistre pour le pipeline CDC, y compris les scénarios de test et le RTO à atteindre. Identifiez l'environnement de test et l'infrastructure pour effectuer le test de reprise après sinistre. Préparez les ensembles de données de test et le script pour simuler des scénarios de défaillance. Vérifiez l'intégrité et la cohérence des données pour éviter toute perte de données.	Propriétaire de l'application, ingénieur de données, architecte cloud

Ressources connexes

Ressources AWS

• Amazon DynamoDB

• Expressions de condition avec Amazon DynamoDB

• Amazon EKS

• Amazon EKS Anywhere

• Amazon ElasticCache

• Amazon Keyspaces

• Amazon MSK

• Amazon RDS et Amazon Aurora

• Amazon VPC

Ressources Precisely Connect

• Présentation de Precisely Connect

• Changez la capture de données avec Precisely Connect

Ressources de Confluent

• Consommation de messages multithread avec Apache Kafka Consumer