Configuration du support LOB pour les bases de données sources dans une tâche AWS DMS

Les grands objets binaires (LOB) peuvent parfois être difficiles à migrer d'un système à l'autre. AWS DMS propose un certain nombre d'options pour faciliter l'ajustement de colonnes LOB. Pour savoir quels types de données sont considérés comme des LOB et à quel moment AWS DMS, consultez la AWS DMS documentation.

Lorsque vous migrez des données d'une base de données vers une autre, vous pouvez saisir l'occasion pour repenser la manière dont vos LOB sont stockés, en particulier pour les migrations hétérogènes. Si vous souhaitez le faire, vous n'avez pas besoin de migrer les données LOB.

Si vous choisissez d'inclure les objets LOB, vous pouvez choisir ensuite les autres paramètres LOB :

• Le mode LOB détermine la façon dont les objets LOB sont gérés :

  • Mode LOB complet : en mode LOB complet, tous les LOB AWS DMS migrent de la source vers la cible, quelle que soit leur taille. Dans cette configuration, il n'y AWS DMS a aucune information sur la taille maximale des LOB à attendre. Par conséquent, les LOB sont migrés un par un, morceau par morceau. Le mode LOB complet peut être très lent.

  • Mode LOB limité : en mode LOB limité, vous définissez une taille maximale d’objet LOB devant être acceptée par DMS. Cela permet à DMS de pré-allouer de la mémoire et de charger les données LOB en bloc. Les LOB qui dépassent la taille de LOB maximale sont tronqués et un avertissement est publié dans le fichier journal. En mode LOB limité, vous pouvez bénéficier de gains de performance significatifs par rapport au mode LOB complet. Nous vous recommandons d'utiliser le mode LOB limité dans la mesure du possible. La valeur maximale recommandée est de 102 400 Ko (100 Mo).

    Note

    Si vous utilisez l’option Taille de LOB maximale (Ko) avec une valeur supérieure à 63 Ko, cela aura un impact sur les performances d’une charge complète configurée pour s’exécuter en mode LOB limité. Lors d’un chargement complet, DMS alloue de la mémoire en multipliant la valeur de l’option Taille de LOB maximale (Ko) par le taux de validation ; le produit est alors multiplié par le nombre de colonnes LOB. Lorsque DMS ne peut pas préallouer cette mémoire, DMS commence à consommer de la mémoire SWAP, ce qui a un impact sur les performances d’un chargement complet. Par conséquent, si vous rencontrez des problèmes de performances lorsque vous utilisez le mode LOB limité, envisagez de réduire le taux de validation jusqu’à atteindre un niveau de performance acceptable. Vous pouvez également envisager d’utiliser le mode LOB en ligne pour les points de terminaison pris en charge une fois que vous aurez identifié la distribution LOB de la table.

    Pour valider la taille de LOB limitée, vous devez définir ValidationPartialLobSize sur la même valeur que LobMaxSize (Ko).

  • Mode LOB en ligne : en mode LOB en ligne, vous définissez la taille de LOB maximale que DMS transfère en ligne. Les objets LOB inférieurs à la taille spécifiée sont transférés en ligne. Les objets LOB supérieurs à la taille spécifiée sont répliqués en mode LOB complet. Vous pouvez sélectionner cette option pour répliquer à la fois des LOB de petite et de grande taille lorsque la plupart des objets LOB sont de petite taille. DMS ne prend pas en charge le mode LOB en ligne pour les points de terminaison qui ne prennent pas en charge le mode LOB complet, tels que S3 et Redshift.

  Note

  Avec Oracle, les LOB sont traités comme des types de données VARCHAR si possible. Cette approche signifie qu'elles sont AWS DMS extraites de la base de données en masse, ce qui est nettement plus rapide que les autres méthodes. La taille maximale d’un VARCHAR dans Oracle est de 32 Ko. Par conséquent, une taille LOB limitée inférieure à 32 Ko est optimale si Oracle est la base de données source.

• Lorsqu'une tâche est configurée pour s'exécuter en Max LOB size (K) (Taille maximale du LOB (K)), l'option détermine la taille de LOB maximale acceptée par AWS DMS . Les grands objets (LOB) qui dépassent cette valeur sont tronqués à cette valeur.

• Lorsqu'une tâche est configurée pour utiliser le mode LOB complet, elle AWS DMS récupère les LOB en plusieurs parties. L'option Taille de bloc du LOB (ko) détermine la taille de chaque élément. Lorsque vous définissez cette option, portez une attention particulière à la taille de paquet maximale autorisée par votre configuration réseau. Si la taille de bloc LOB dépasse la taille maximale autorisée pour les paquets, vous pourriez voir des erreurs de déconnexion. La valeur recommandée pour LobChunkSize est de 64 kilo-octets. L’augmentation de la valeur de LobChunkSize au-delà de 64 kilo-octets peut entraîner l’échec des tâches.

• Lorsqu’une tâche est configurée pour s’exécuter en mode LOB en ligne, le paramètre InlineLobMaxSize détermine les objets LOB que DMS transfère en ligne.

  Note

  Vous ne pouvez utiliser les types de données LOB qu'avec les tables et les vues qui incluent une clé primaire.

Pour plus d'informations sur les paramètres de tâche pour spécifier ces options, consultez Paramètres de métadonnées des tâches cibles