Exporter une base de données Microsoft SQL Server vers Amazon S3 à l'aide d'AWS DMS

Créée par Sweta Krishna (AWS)

Récapitulatif

Organisations ont souvent besoin de copier des bases de données vers Amazon Simple Storage Service (Amazon S3) à des fins de migration, de sauvegarde et de restauration, d'archivage des données et d'analyse des données. Ce modèle décrit comment exporter une base de données Microsoft SQL Server vers Amazon S3. La base de données source peut être hébergée sur site ou sur Amazon Elastic Compute Cloud (Amazon EC2) ou Amazon Relational Database Service (Amazon RDS) pour Microsoft SQL Server sur le cloud Amazon Web Services (AWS).

Les données sont exportées à l'aide d'AWS Database Migration Service (AWS DMS). Par défaut, AWS DMS écrit les données de capture des données de chargement complet et de modification (CDC) au format .csv (valeurs séparées par des virgules). Pour un stockage plus compact et des options de requête plus rapides, ce modèle utilise l'option de format Apache Parquet (.parquet).

Conditions préalables et limitations

Prérequis

• Un compte AWS actif

• Rôle AWS Identity and Access Management (IAM) pour le compte avec accès en écriture, suppression et balisage au compartiment S3 cible, et AWS DMS (dms.amazonaws.com) ajouté en tant qu'entité de confiance à ce rôle IAM

• Une base de données Microsoft SQL Server sur site (ou Microsoft SQL Server sur une EC2 instance ou une base de données Amazon RDS for SQL Server)

• Connectivité réseau entre le cloud privé virtuel (VPC) sur AWS et le réseau sur site fourni par AWS Direct Connect ou un réseau privé virtuel (VPN)

Limites

• Un compartiment S3 compatible VPC (VPC de passerelle) n'est actuellement pas pris en charge dans les versions d'AWS DMS antérieures à 3.4.7.

• Les modifications apportées à la structure de la table source lors du chargement complet ne sont pas prises en charge.

• Le mode LOB (Full Large Binary Object) d'AWS DMS n'est pas pris en charge.

Versions du produit

• Microsoft SQL Server versions 2005 ou ultérieures pour les éditions Enterprise, Standard, Workgroup et Developer.

• Support pour Microsoft SQL Server version 2019 en tant que source est disponible dans les versions 3.3.2 et ultérieures d'AWS DMS.

Architecture

Pile technologique source

• Une base de données Microsoft SQL Server sur site (ou Microsoft SQL Server sur une EC2 instance ou une base de données Amazon RDS for SQL Server) 

Pile technologique cible

• AWS Direct Connect

• AWS DMS

• Amazon S3

Architecture cible

Outils

• AWS Database Migration Service (AWS DMS) vous aide à migrer des magasins de données vers le cloud AWS ou entre des combinaisons de configurations cloud et sur site.

• AWS Direct Connect relie votre réseau interne à un emplacement Direct Connect via un câble Ethernet à fibre optique standard. Grâce à cette connexion, vous pouvez créer des interfaces virtuelles directement vers les services AWS publics tout en contournant les fournisseurs de services Internet sur votre chemin réseau.

• Amazon Simple Storage Service (Amazon S3) est un service de stockage d'objets basé sur le cloud qui vous permet de stocker, de protéger et de récupérer n'importe quel volume de données.

Épopées

Préparer la migration

Tâche	Description	Compétences requises
Validez la version de la base de données.	Validez la version de la base de données source et assurez-vous qu'elle est prise en charge par AWS DMS. Pour plus d'informations sur les versions de base de données SQL Server prises en charge, consultez la section Utilisation d'une base de données Microsoft SQL Server comme source pour AWS DMS.	DBA
Créez un VPC et un groupe de sécurité.	Dans votre compte AWS, créez un VPC et un groupe de sécurité. Pour plus d'informations, consultez la documentation Amazon VPC.	Administrateur système
Créez un utilisateur pour la tâche AWS DMS.	Créez un utilisateur AWS DMS dans la base de données source et accordez-lui les autorisations READ. Cet utilisateur sera utilisé par AWS DMS.	DBA
Testez la connectivité à la base de données.	Testez la connectivité à l'instance de base de données SQL Server auprès de l'utilisateur AWS DMS.	DBA
Créez un compartiment S3.	Créez le compartiment S3 cible. Ce compartiment contiendra les données de la table migrée.	Administrateur de systèmes
Créez une politique et un rôle IAM.	Pour créer une politique IAM avec des autorisations de compartiment, utilisez le code de la section Informations supplémentaires. Créez le rôle pour AWS DMS et associez la politique au rôle.	Administrateur de systèmes

Migrer les données à l'aide d'AWS DMS

Tâche	Description	Compétences requises
Créez une instance de réplication AWS DMS.	Connectez-vous à l'AWS Management Console, puis ouvrez la console AWS DMS. Dans le volet de navigation, choisissez Instances de réplication, puis Créer une instance de réplication. Pour obtenir des instructions, consultez l'étape 1 de la documentation AWS DMS.	DBA
Créez des points de terminaison source et cible.	Créez des points de terminaison source et cible. Testez la connexion entre l'instance de réplication et les points de terminaison source et cible. Pour obtenir des instructions, consultez l'étape 2 de la documentation AWS DMS.	DBA
Créez une tâche de réplication.	Créez une tâche de réplication et sélectionnez le chargement complet ou le chargement complet avec capture des données de modification (CDC) pour migrer les données de SQL Server vers le compartiment S3. Pour obtenir des instructions, consultez l'étape 3 de la documentation AWS DMS.	DBA
Démarrez la réplication des données.	Lancez la tâche de réplication et surveillez les journaux pour détecter toute erreur.	DBA

Valider les données

Tâche	Description	Compétences requises
Validez les données migrées.	Sur la console, accédez à votre compartiment S3 cible. Ouvrez le sous-dossier portant le même nom que la base de données source. Vérifiez que le dossier contient toutes les tables migrées depuis la base de données source.	DBA

Nettoyage des ressources

Tâche	Description	Compétences requises
Arrêtez et supprimez les ressources AWS temporaires.	Arrêtez les ressources AWS temporaires que vous avez créées pour la migration des données, telles que l'instance de réplication AWS DMS, et supprimez-les après avoir validé l'exportation.	DBA

Ressources connexes

• Guide de l'utilisateur d'AWS Database Migration Service

• Utilisation d'une base de données Microsoft SQL Server comme source pour AWS DMS

• Utilisation d'Amazon S3 comme cible pour AWS Database Migration Service

• Utilisation d'un compartiment S3 comme cible AWS DMS (AWS Re:POST)

Informations supplémentaires

Utilisez le code suivant pour ajouter une politique IAM avec des autorisations de compartiment S3 pour le rôle AWS DMS. Remplacez bucketname par le nom de votre compartiment.

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Effect": "Allow",
             "Action": [
                 "s3:PutObject",
                 "s3:DeleteObject"
             ],
             "Resource": [
                 "arn:aws:s3:::bucketname*"
             ]
         },
         {
             "Effect": "Allow",
             "Action": [
                 "s3:ListBucket"
             ],
             "Resource": [
                 "arn:aws:s3:::bucketname*"
             ]
         }
     ]
 }