Migration de données volumineuses avec AWS Snow Family devices

La migration de données volumineuses depuis des sites sur site nécessite une planification, une orchestration et une exécution minutieuses pour garantir la réussite de la migration de vos données. AWS

Nous vous recommandons de mettre en place une stratégie de migration des données avant de commencer votre migration afin d'éviter le non-respect des délais, le dépassement des budgets et les échecs de migration. AWS Les services Snow vous aident à placer, à commander et à suivre vos projets de migration de données volumineux via la fonctionnalité Snow Family Large Data Migration Manager (LDMM) du AWS Snow Family Management Console.

Les rubriques Planifiez votre transfert important avec les appareils Snow Family et la Étalonnage d'un transfert important avec les appareils de la gamme Snow description d'un processus manuel de migration des données. Vous pouvez rationaliser les étapes manuelles à l'aide du plan de LDMM migration de la famille Snow.

Rubriques

• Planifiez votre transfert important avec les appareils Snow Family
• Étalonnage d'un transfert important avec les appareils de la gamme Snow
• Création d'un plan de migration de données volumineux avec les appareils Snow Family
• Utilisation du plan de migration de données volumineuses avec les appareils Snow Family

Planifiez votre transfert important avec les appareils Snow Family

Nous vous recommandons de planifier et de calibrer les transferts de données volumineux entre les AWS Snowball Edge appareils que vous avez sur site et vos serveurs en suivant les instructions des sections suivantes.

Étape 1 : comprendre ce que vous souhaitez migrer vers le cloud

Avant de créer votre première tâche à l'aide du AWS Snow Family Management Console, assurez-vous d'évaluer le volume de données à transférer, l'endroit où elles sont actuellement stockées et la destination vers laquelle vous souhaitez les transférer. Pour les transferts de données d'une ampleur supérieure ou égale à un pétaoctet, cette gestion administrative facilite grandement l'arrivée de vos appareils Snow Family.

Si vous migrez des données vers le AWS Cloud pour la première fois, nous vous recommandons de concevoir un modèle de migration vers le cloud. La migration vers le cloud ne se fait pas du jour au lendemain. Cela nécessite un processus de planification minutieux pour garantir que tous les systèmes fonctionnent comme prévu.

Une fois cette étape terminée, vous devriez connaître la quantité totale des données que vous allez déplacer dans le cloud.

Étape 2 : Calculez votre taux de transfert cible

Il est important d'estimer la rapidité avec laquelle vous pouvez transférer des données vers les appareils de la gamme Snow connectés à chacun de vos serveurs. Cette vitesse estimée en Mo/sec détermine la vitesse à laquelle vous pouvez transférer les données de votre source de données vers des appareils Snowball Edge à l'aide de votre infrastructure réseau locale.

Note

Pour les transferts de données volumineux, nous vous recommandons d'utiliser la méthode de transfert de données Amazon S3. Vous devez sélectionner cette option lorsque vous commandez des appareils dans le AWS Snow Family Management Console.

Pour déterminer un taux de transfert de référence, transférez un petit sous-ensemble de vos données vers l'appareil Snowball Edge ou transférez un fichier d'exemple de 10 Go et observez le débit.

Lorsque vous déterminez votre vitesse de transfert cible, n'oubliez pas que vous pouvez améliorer le débit en ajustant votre environnement, notamment la configuration réseau, en modifiant la vitesse du réseau, la taille des fichiers transférés et la vitesse à laquelle les données peuvent être lues depuis vos serveurs locaux. L'adaptateur Amazon S3 copie les données sur les appareils Snow Family aussi rapidement que les conditions le permettent.

Étape 3 : Déterminez le nombre d'appareils Snow Family dont vous avez besoin

À l'aide de la quantité totale de données que vous prévoyez de transférer dans le cloud, de la vitesse de transfert estimée et du nombre de jours pendant lesquels vous souhaitez transférer les données AWS, déterminez le nombre d'appareils Snow Family dont vous avez besoin pour votre migration de données à grande échelle. Selon le type d'appareil, les appareils Snowball Edge disposent d'environ 39,5 To ou 210 To d'espace de stockage utilisable. Par exemple, si vous souhaitez transférer 300 To de données AWS sur une période de 10 jours et que vous disposez d'une vitesse de transfert de 250 Mo/s, vous avez besoin de 2 appareils Snowball Edge avec 210 To de stockage.

Note

AWS Snow Family devices LDMMIl fournit un assistant pour estimer le nombre de produits AWS Snow Family devices pouvant être pris en charge simultanément. Pour de plus amples informations, veuillez consulter Création d'un plan de migration de données volumineux avec les appareils Snow Family.

Étape 4 : Créez vos emplois

Après avoir déterminé le nombre d'appareils Snow Family dont vous avez besoin, vous devez créer une tâche d'importation pour chaque appareil. La création de plusieurs emplois est simplifiée par la famille SnowLDMM. Pour de plus amples informations, veuillez consulter Passer votre prochain ordre de travail.

Note

Vous pouvez passer votre prochain ordre de travail et l'ajouter automatiquement à votre plan directement à partir du calendrier de commande recommandé. Pour de plus amples informations, veuillez consulter Calendrier de commande de travaux recommandé.

Étape 5 : Séparez vos données en segments de transfert

En tant que bonne pratique pour les transferts de données volumineux impliquant plusieurs tâches, nous vous recommandons de diviser logiquement vos données en plusieurs ensembles de données plus petits et plus faciles à gérer. Cela vous permet de transférer chaque partition à la fois, ou plusieurs partitions en parallèle. Lorsque vous planifiez vos partitions, assurez-vous que les données des partitions combinées sont adaptées aux appareils de la gamme Snow adaptés à la tâche. Par exemple, vous pouvez séparer votre transfert en partitions de l'une des manières suivantes :

• Vous pouvez créer 10 partitions de 20 To chacune à utiliser avec un appareil Snowball Edge doté de 210 To de stockage, par exemple.

• Pour les fichiers volumineux, chaque fichier peut être une partition individuelle jusqu'à la limite de 5 To pour les objets dans Amazon S3.

• Chaque partition peut avoir une taille différente, et chaque partition individuelle peut être composée du même type de données, par exemple de petits fichiers dans une partition, d'archives compressées dans une autre, de gros fichiers dans une autre partition, etc. Cette approche peut vous aider à déterminer votre taux de transfert moyen pour différents types de fichiers.

Note

Les opérations de métadonnées sont effectuées pour chaque fichier transféré. Quelle que soit la taille d'un fichier, cette surcharge demeure la même. Par conséquent, vous pouvez obtenir des performances plus rapides en compressant de petits fichiers dans un ensemble plus important, en groupant vos fichiers ou en transférant des fichiers individuels plus volumineux.

La création de segments de transfert de données peut vous permettre de résoudre rapidement les problèmes de transfert, car il peut s'avérer complexe de tenter de résoudre un transfert hétérogène de grande envergure après un jour ou plus.

Lorsque vous aurez terminé de planifier votre transfert de données à l'échelle du pétaoctet, nous vous recommandons de transférer quelques segments de votre serveur sur l'appareil de la gamme Snow afin de calibrer votre vitesse et le temps de transfert total.