Optimisation de la passerelle de fichiers S3 pour les sauvegardes de bases de données SQL Server

Les sauvegardes de base de données constituent un cas d'utilisation courant et recommandé pour S3 File Gateway, qui assure une conservation rentable à court et à long terme en stockant les sauvegardes de base de données dans Amazon S3, avec la possibilité d'effectuer un cycle de vie afin de réduire les coûts des niveaux de stockage selon les besoins. Grâce à cette solution, vous pouvez réduire le besoin d'applications de sauvegarde d'entreprise à l'aide d'outils intégrés tels que SQL Server Management Studio et Oracle RMAN.

Les sections suivantes décrivent les meilleures pratiques pour optimiser le déploiement de votre passerelle de fichiers S3 afin d'optimiser les performances et de prendre en charge de manière rentable des centaines de téraoctets de sauvegardes de bases de données SQL. Les conseils fournis dans chaque section contribuent progressivement à améliorer le débit global. Bien qu'aucune de ces recommandations ne soit requise et qu'elles ne soient pas interdépendantes, elles ont été sélectionnées et ordonnées d'une manière logique qui permet de tester et d'ajuster les Support implémentations de S3 File Gateway. Lorsque vous implémentez et testez ces suggestions, gardez à l'esprit que chaque déploiement de S3 File Gateway est unique et que les résultats peuvent donc varier.

S3 File Gateway fournit une interface de fichiers permettant de stocker et de récupérer des objets Amazon S3 à l'aide des protocoles de fichiers NFS ou SMB standard, avec un mappage 1:1 natif entre le fichier et l'objet. Vous déployez S3 File Gateway en tant que machine virtuelle soit sur site dans votre VMware environnement KVM Microsoft Hyper-V ou Linux, soit dans le AWS cloud en tant qu'instance Amazon. EC2 S3 File Gateway n'est pas conçu pour remplacer complètement le NAS d'entreprise. S3 File Gateway émule un système de fichiers, mais il ne s'agit pas d'un système de fichiers. L'utilisation d'Amazon S3 comme stockage dorsal durable entraîne une surcharge supplémentaire pour chaque I/O opération. L'évaluation des performances de S3 File Gateway par rapport à celles d'un NAS ou d'un serveur de fichiers existant ne constitue donc pas une comparaison équivalente.

Déployez votre passerelle au même endroit que vos serveurs SQL

Nous vous recommandons de déployer votre dispositif virtuel S3 File Gateway dans un emplacement physique avec une latence réseau aussi faible que possible entre celui-ci et vos serveurs SQL. Lorsque vous choisissez un emplacement pour votre passerelle, tenez compte des points suivants :

• La réduction de la latence réseau vers la passerelle peut contribuer à améliorer les performances des clients PME, tels que les serveurs SQL.

• La passerelle de fichiers S3 est conçue pour tolérer une latence réseau plus élevée entre la passerelle et Amazon S3 qu'entre la passerelle et les clients.

• Pour les instances de passerelle de fichiers S3 déployées sur Amazon EC2, nous recommandons de conserver la passerelle et les serveurs SQL dans le même groupe de placement. Pour plus d'informations, consultez la section Groupes de placement pour vos EC2 instances Amazon dans le guide de l'utilisateur d'Amazon Elastic Compute Cloud.

Réduisez les goulots d'étranglement causés par la lenteur des disques

Nous vous recommandons de surveiller la IoWaitPercent CloudWatch métrique afin d'identifier les problèmes de performances pouvant résulter de la lenteur des disques de stockage sur votre passerelle de fichiers S3. Lorsque vous essayez d'optimiser les problèmes de performances liés au disque, tenez compte des points suivants :

• IoWaitPercentindique le pourcentage de temps pendant lequel le processeur attend une réponse de la racine ou des disques de cache.

• Lorsqu'il IoWaitPercent est supérieur à 5 à 10 %, cela indique généralement un goulot d'étranglement des performances de la passerelle dû à des disques peu performants. Cette métrique doit être aussi proche que possible de 0 %, ce qui signifie que la passerelle n'attend jamais sur le disque, ce qui permet d'optimiser les ressources du processeur.

• Vous pouvez consulter l'IoWaitPercentonglet Monitoring de la console Storage Gateway ou configurer des CloudWatch alarmes recommandées pour vous avertir automatiquement si la métrique dépasse un seuil spécifique. Pour plus d'informations, consultez la section Création d' CloudWatch alarmes recommandées pour votre passerelle.

• Nous vous recommandons d'utiliser l' NVMe un ou l'autre SSD pour les disques racine et de cache de votre passerelle afin de minimiserIoWaitPercent.

Ajuster l'allocation des ressources de la machine virtuelle S3 File Gateway pour le processeur, la RAM et les disques de cache

Lorsque vous essayez d'optimiser le débit de votre passerelle de fichiers S3, il est important d'allouer suffisamment de ressources à la machine virtuelle de passerelle, notamment le processeur, la RAM et les disques de cache. Les exigences minimales en matière de ressources virtuelles de 4 CPUs, 16 Go de RAM et 150 Go de stockage de cache ne conviennent généralement qu'aux petites charges de travail. Lorsque vous allouez des ressources virtuelles pour des charges de travail plus importantes, nous recommandons ce qui suit :

• Augmentez le nombre CPUs alloué entre 16 et 48, en fonction de l'utilisation typique du processeur générée par votre passerelle de fichiers S3. Vous pouvez surveiller l'utilisation du processeur à l'aide de la UserCpuPercent métrique. Pour plus d'informations, consultez la section Comprendre les métriques de passerelle.

• Augmentez la RAM allouée entre 32 et 64 Go.

  Note

  S3 File Gateway ne peut pas utiliser plus de 64 Go de RAM.

• Utilisez NVMe un SSD pour les disques racine et le disque de cache, et dimensionnez vos disques de cache en fonction de l'ensemble de données de travail maximal que vous prévoyez d'écrire sur la passerelle. Pour plus d'informations, consultez les meilleures pratiques en matière de dimensionnement du cache de S3 File Gateway sur le YouTube canal officiel Amazon Web Services.

• Ajoutez au moins 4 disques de cache virtuels à la passerelle, plutôt que d'utiliser un seul grand disque. Plusieurs disques virtuels peuvent améliorer les performances même s'ils partagent le même disque physique sous-jacent, mais les améliorations sont généralement plus importantes lorsque les disques virtuels sont situés sur des disques physiques sous-jacents différents.

  Par exemple, si vous souhaitez déployer 12 To de cache, vous pouvez utiliser l'une des configurations suivantes :

  • 4 disques de cache de 3 To

  • 8 disques de cache de 1,5 To

  • 12 disques de cache de 1 To

  Outre les performances, cela permet une gestion plus efficace de la machine virtuelle au fil du temps. À mesure que votre charge de travail évolue, vous pouvez augmenter progressivement le nombre de disques de cache et votre capacité de cache globale, tout en conservant la taille initiale de chaque disque virtuel afin de préserver l'intégrité de la passerelle.

  Pour plus d'informations, consultez la section Déterminer la quantité de stockage sur disque local.

Lorsque vous déployez S3 File Gateway en tant qu' EC2 instance Amazon, tenez compte des points suivants :

• Le type d'instance que vous choisissez peut avoir un impact significatif sur les performances de la passerelle. Amazon EC2 offre une grande flexibilité pour ajuster l'allocation des ressources pour votre instance de passerelle de fichiers S3.

• Pour connaître les types d' EC2 instances Amazon recommandés pour S3 File Gateway, consultez la section Exigences relatives aux types d' EC2 instances Amazon.

• Vous pouvez modifier le type d' EC2 instance Amazon qui héberge une passerelle de fichiers S3 active. Cela vous permet d'ajuster facilement la génération de EC2 matériel Amazon et l'allocation des ressources pour trouver le price-to-performance ratio idéal. Pour modifier le type d'instance, suivez la procédure suivante dans la EC2 console Amazon :

  1. Arrêtez l' EC2 instance Amazon.

  2. Modifiez le type d' EC2 instance Amazon.

  3. Allumez l' EC2 instance Amazon.

  Note

  L'arrêt d'une instance hébergeant une passerelle de fichiers S3 perturbera temporairement l'accès au partage de fichiers. Assurez-vous de planifier une fenêtre de maintenance si nécessaire.

• Le price-to-performance ratio d'une EC2 instance Amazon fait référence à la puissance de calcul que vous obtenez pour le prix que vous payez. Généralement, les EC2 instances Amazon de nouvelle génération offrent le meilleur price-to-performance ratio, avec du matériel plus récent et des performances améliorées à un coût relativement inférieur à celui des anciennes générations. Des facteurs tels que le type d'instance, la région et les modèles d'utilisation ont une incidence sur ce ratio. Il est donc important de sélectionner l'instance adaptée à votre charge de travail spécifique afin d'optimiser la rentabilité.

Améliorez le débit des clients des PME en ajustant le niveau de sécurité de votre passerelle de fichiers S3

Le SMBv3 protocole permet à la fois la signature SMB et le chiffrement SMB, ce qui présente certains compromis en termes de performances et de sécurité. Pour optimiser le débit, vous pouvez ajuster le niveau de sécurité SMB de votre passerelle afin de spécifier quelles fonctionnalités de sécurité sont appliquées aux connexions client. Pour plus d'informations, voir Définir un niveau de sécurité pour votre passerelle.

Lorsque vous ajustez le niveau de sécurité SMB, tenez compte des points suivants :

• Le niveau de sécurité par défaut pour S3 File Gateway est Appliquer le chiffrement. Ce paramètre applique à la fois le chiffrement et la signature pour les connexions des clients SMB aux partages de fichiers de passerelle, ce qui signifie que tout le trafic entre le client et la passerelle est chiffré. Ce paramètre n'affecte pas le trafic en provenance de la passerelle AWS, qui est toujours chiffré.

  La passerelle limite chaque connexion client chiffrée à un seul vCPU. Par exemple, si vous n'avez qu'un seul client chiffré, ce client sera limité à un seul vCPU, même si 4 vCPU ou plus CPUs sont alloués à la passerelle. De ce fait, le débit des connexions chiffrées entre un seul client et S3 File Gateway est généralement limité entre 40 et 60 Mo/s.

• Si vos exigences en matière de sécurité vous permettent d'adopter une posture plus souple, vous pouvez modifier le niveau de sécurité sur Négocié par le client, ce qui désactivera le chiffrement SMB et appliquera uniquement la signature SMB. Avec ce paramètre, les connexions client à la passerelle peuvent utiliser plusieurs vCPUs, ce qui se traduit généralement par une augmentation des performances de débit.

  Note

  Après avoir modifié le niveau de sécurité SMB de votre passerelle de fichiers S3, vous devez attendre que le statut du partage de fichiers passe de Updating à Available dans la console Storage Gateway, puis déconnecter et reconnecter vos clients SMB pour que le nouveau paramètre prenne effet.

Améliorez le débit des clients des PME en divisant les sauvegardes SQL en plusieurs fichiers

• Il est difficile d'atteindre des performances de débit maximales avec une passerelle de fichiers S3 qui permet à un seul serveur SQL d'écrire un fichier à la fois, car l'écriture séquentielle à partir d'un seul serveur SQL est une opération à thread unique. Nous vous recommandons plutôt d'utiliser plusieurs threads de chaque serveur SQL pour écrire plusieurs fichiers en parallèle, et d'utiliser plusieurs serveurs SQL simultanément sur votre passerelle de fichiers S3 afin d'optimiser le débit de la passerelle. Avec les sauvegardes SQL, la division des sauvegardes en plusieurs fichiers permet à chaque fichier d'utiliser un thread distinct, qui écrira plusieurs fichiers simultanément sur le partage de fichiers S3 File Gateway. Plus vous avez de threads, plus vous pouvez atteindre de débit, dans les limites de la passerelle.

• SQL Server prend en charge l'écriture simultanée dans plusieurs fichiers au cours d'une seule opération de sauvegarde. Par exemple, vous pouvez spécifier plusieurs destinations de fichiers à l'aide des commandes T-SQL ou de SQL Server Management Studio (SSMS). Chaque fichier utilise un thread distinct pour envoyer les données du serveur SQL au partage de fichiers de la passerelle. Cette approche permet d'améliorer le I/O débit, ce qui peut améliorer considérablement la vitesse et l'efficacité des sauvegardes.

Lorsque vous configurez vos sauvegardes SQL Server, tenez compte des points suivants :

• En divisant les sauvegardes en plusieurs fichiers, les administrateurs de SQL Server peuvent optimiser les temps de sauvegarde et gérer plus efficacement les sauvegardes de bases de données volumineuses.

• Le nombre de fichiers utilisés dépend de la configuration de stockage et des exigences de performances du serveur. Pour les bases de données volumineuses, nous recommandons de diviser les sauvegardes en plusieurs fichiers plus petits de 10 Go à 20 Go chacun.

• Il n'existe aucune limite stricte quant au nombre de fichiers dans lesquels SQL Server peut écrire pendant une sauvegarde, mais des considérations pratiques telles que l'architecture de stockage et la bande passante réseau devraient guider ce choix.

Pour plus d'informations, consultez :

• Sauvegardez SQL Server 43 à 67 % plus rapidement en écrivant dans plusieurs fichiers

• Stockez facilement vos sauvegardes SQL Server dans Amazon S3 à l'aide de File Gateway

Empêchez les échecs de copie de fichiers volumineux en augmentant les paramètres de délai d'expiration SMB

Lorsque S3 File Gateway copie des fichiers de sauvegarde SQL volumineux vers un partage de fichiers SMB, la connexion du client SMB peut être interrompue après une période prolongée. Nous vous recommandons d'étendre le délai d'expiration de session SMB pour vos clients SMB SQL Server à 20 minutes ou plus, en fonction de la taille des fichiers et de la vitesse d'écriture de votre passerelle. La valeur par défaut est de 300 secondes ou 5 minutes. Pour plus d'informations, consultez la section Votre tâche de sauvegarde de passerelle échoue ou des erreurs se produisent lors de l'écriture sur votre passerelle.

Augmenter le nombre de threads de téléchargement sur Amazon S3

Par défaut, S3 File Gateway ouvre 8 threads pour le téléchargement de données Amazon S3, ce qui fournit une capacité de téléchargement suffisante pour la plupart des déploiements classiques. Cependant, il est possible qu'une passerelle reçoive des données en provenance de serveurs SQL à un débit supérieur à celui qu'elle peut charger sur Amazon S3 avec la capacité standard de 8 threads, ce qui peut amener le cache local à atteindre sa limite de stockage.

Dans certaines circonstances, Support cela peut augmenter le nombre de threads de téléchargement Amazon S3 pour votre passerelle de 8 à 40, ce qui permet de charger davantage de données en parallèle. En fonction de la bande passante et d'autres facteurs spécifiques à votre déploiement, cela peut augmenter considérablement les performances de téléchargement et contribuer à réduire la quantité de stockage en cache nécessaire pour prendre en charge votre charge de travail.

Nous vous recommandons d'utiliser cette CachePercentDirty CloudWatch métrique pour surveiller la quantité de données stockées sur les disques de cache de la passerelle locale qui n'ont pas encore été chargées vers Amazon S3, et de contacter Support pour déterminer si l'augmentation du nombre de threads de téléchargement peut améliorer le débit de votre passerelle de fichiers S3. Pour plus d'informations, consultez la section Comprendre les métriques de passerelle.

Note

Ce paramètre consomme des ressources supplémentaires du processeur de la passerelle. Nous recommandons de surveiller l'utilisation du processeur de la passerelle et d'augmenter les ressources du processeur allouées si nécessaire.

Désactiver l'actualisation automatique du cache

La fonctionnalité d'actualisation automatique du cache permet à votre passerelle de fichiers S3 d'actualiser automatiquement ses métadonnées, ce qui permet de capturer les modifications apportées par les utilisateurs ou les applications à votre ensemble de fichiers en écrivant directement dans le compartiment Amazon S3, plutôt que via la passerelle. Pour plus d'informations, consultez Actualisation du cache d'objets du compartiment Amazon S3.

Pour optimiser le débit de la passerelle, nous recommandons de désactiver cette fonctionnalité dans les déploiements où toutes les lectures et écritures dans le compartiment Amazon S3 seront effectuées via votre passerelle de fichiers S3.

Lors de la configuration de l'actualisation automatique du cache, tenez compte des points suivants :

• Si vous devez utiliser l'actualisation automatique du cache parce que des utilisateurs ou des applications de votre déploiement écrivent parfois directement sur Amazon S3, nous vous recommandons de configurer l'intervalle de temps le plus long possible entre les actualisations, ce qui est toujours pratique pour les besoins de votre entreprise. Un intervalle d'actualisation du cache plus long permet de réduire le nombre d'opérations de métadonnées que la passerelle doit effectuer lors de la navigation dans les répertoires ou de la modification de fichiers.

  Par exemple : définissez l'actualisation automatique du cache sur 24 heures, au lieu de 5 minutes, si cela est acceptable pour votre charge de travail.

• L'intervalle de temps minimum est de 5 minutes. L'intervalle maximal est de 30 jours.

• Si vous choisissez de définir un intervalle d'actualisation du cache très court, nous vous recommandons de tester l'expérience de navigation dans les annuaires pour vos serveurs SQL. Le temps nécessaire pour actualiser le cache de la passerelle peut augmenter considérablement en fonction du nombre de fichiers et de sous-répertoires contenus dans votre compartiment Amazon S3.

Déployez plusieurs passerelles pour prendre en charge la charge de travail

Storage Gateway peut prendre en charge les sauvegardes SQL pour les environnements de grande taille comprenant des centaines de bases de données SQL, plusieurs serveurs SQL et des centaines de téraoctets de données de sauvegarde en répartissant la charge de travail sur plusieurs passerelles.

Lorsque vous planifiez un déploiement avec plusieurs passerelles et serveurs SQL, tenez compte des points suivants :

• Une passerelle unique peut généralement télécharger jusqu'à 20 To par jour, avec des ressources matérielles et une bande passante suffisantes. Vous pouvez augmenter cette limite jusqu'à 40 To par jour en augmentant le nombre de threads de téléchargement Amazon S3.

• Nous vous recommandons d'effectuer un proof-of-concept test pour mesurer les performances et prendre en compte toutes les variables de votre déploiement. Après avoir déterminé le débit maximal de votre charge de travail de sauvegarde SQL, vous pouvez adapter le nombre de passerelles en fonction de vos besoins.

• Nous vous recommandons de concevoir votre solution en tenant compte de la croissance, car le nombre et la taille des bases de données peuvent augmenter au fil du temps. Pour continuer à évoluer et à prendre en charge une charge de travail croissante, vous pouvez déployer des passerelles supplémentaires selon vos besoins.

Ressources supplémentaires pour les charges de travail de sauvegarde des bases de données

• Stockez les sauvegardes SQL Server dans Amazon S3 à l'aide de AWS Storage Gateway

• Stockez facilement vos sauvegardes SQL Server dans Amazon S3 à l'aide de File Gateway

• Utilisation AWS Storage Gateway pour stocker des sauvegardes de bases de données Oracle dans Amazon S3

• Sauvegarde de bases de données Oracle sur Amazon S3 à grande échelle

• Intégrez une base de données SAP ASE à Amazon S3 à l'aide de AWS Storage Gateway

• Comment One AWS Hero l'utilise AWS Storage Gateway pour la sauvegarde dans le cloud

• Meilleures pratiques en matière de dimensionnement du cache de S3 File Gateway