Accélérer votre migration grâce au partitionnement des données

Dans le cas d'une migration importante, nous vous recommandons de partitionner votre ensemble de données en plusieurs DataSync tâches. Le partitionnement de vos données sources entre plusieurs tâches (et éventuellement des agents) vous permet de paralléliser vos transferts et de réduire le calendrier de migration.

Le partitionnement vous aide également à respecter les DataSync quotas et simplifie la surveillance et le débogage de vos tâches.

Le schéma suivant montre comment vous pouvez utiliser plusieurs DataSync tâches et agents pour transférer des données depuis le même emplacement de stockage source. Dans ce scénario, chaque tâche se concentre sur un dossier spécifique dans l'emplacement source. Pour plus d'informations et des exemples sur ces approches, consultez Comment accélérer vos transferts de données grâce à des architectures AWS DataSync évolutives.

Partitionnement de votre jeu de données par dossier ou par préfixe

Lorsque vous créez votre emplacement DataSync source, vous pouvez spécifier un dossier, un répertoire ou un préfixe dont la DataSync lecture est extraite. Par exemple, si vous migrez un partage de fichiers contenant des répertoires de premier niveau, vous pouvez créer plusieurs emplacements qui spécifient un chemin de répertoire différent. Vous pouvez ensuite utiliser ces emplacements pour exécuter plusieurs DataSync tâches au cours de votre migration.

Partitionnement de votre jeu de données à l'aide de filtres

Vous pouvez appliquer des filtres pour inclure ou exclure des données de votre emplacement source lors d'un transfert. Dans le contexte d'une migration de grande envergure, les filtres peuvent vous aider à étendre les tâches à des parties spécifiques de votre ensemble de données.

Par exemple, si vous migrez des données d'archives organisées par année, vous pouvez créer un filtre d'inclusion correspondant à une année spécifique ou à plusieurs années. Vous pouvez également modifier le filtre chaque fois que vous exécutez la tâche pour qu'il corresponde à une année différente.

Partitionnement de votre jeu de données avec des manifestes

Un manifeste est une liste de fichiers ou d'objets que vous DataSync souhaitez transférer. Avec un manifeste, DataSync il n'est pas nécessaire de tout lire dans un emplacement source pour déterminer ce qu'il faut transférer.

Vous pouvez créer des manifestes à partir des inventaires de votre stockage source ou à l'aide d'approches axées sur les événements (par exemple, voir Implémentation AWS DataSync avec des centaines de millions d'objets). Vous pouvez également utiliser un manifeste différent chaque fois que vous démarrez une tâche, ce qui vous permet de transférer différents ensembles de données avec la même tâche.