Gestion de la charge de travail

Vous pouvez configurer Amazon Redshift WLM pour qu'il s'exécute automatiquement WLM ou manuellement. WLM

Avec Amazon Redshift, vous pouvez gérer et hiérarchiser les requêtes simultanées et les charges de travail des utilisateurs afin d'optimiser les performances et l'utilisation des ressources. La gestion de la charge de travail (WLM) vous permet de définir des files d'attente, des groupes d'utilisateurs et d'autres structures pour contrôler les ressources allouées aux différents types de requêtes ou d'utilisateurs.

Les sections suivantes décrivent les fonctionnalités spécifiques de gestion de la charge de travail d'Amazon Redshift et vous guident dans leur configuration et leur surveillance.

Automatique WLM

Pour optimiser le débit du système et utiliser les ressources de manière efficace, vous pouvez permettre à Amazon Redshift de gérer la répartition des ressources afin d'exécuter des requêtes simultanées de manière automatique. WLM Gestion WLM automatique des ressources nécessaires à l'exécution des requêtes. Amazon Redshift détermine le nombre de requêtes exécutées simultanément et la quantité de mémoire allouée à chaque requête distribuée. Utilisez Auto WLM lorsque vous souhaitez qu'Amazon Redshift gère la façon dont les ressources sont réparties pour exécuter des requêtes simultanées. Pour de plus amples informations, veuillez consulter Implémentation automatique WLM.

Grâce à la mise à l'échelle et à l'automatisation de la WLM simultanéité, vous pouvez prendre en charge un nombre pratiquement illimité d'utilisateurs simultanés et de requêtes simultanées, avec des performances de requête toujours rapides. Pour de plus amples informations, veuillez consulter Mise à l’échelle de la simultanéité.

Note

Dans la plupart des cas, nous vous recommandons d'utiliser le mode automatiqueWLM. Si vous utilisez le mode manuel WLM et que vous souhaitez passer du mode automatique à la version automatiqueWLM, consultezMigration du mode manuel WLM au mode automatique WLM.

Avec AutoWLM, il est possible de définir les priorités des requêtes pour les charges de travail d'une file d'attente. Pour plus d’informations sur la priorité des requêtes, consultez Priorité de requête.

Manuel WLM

Vous pouvez avoir plusieurs sessions ou plusieurs utilisateurs peuvent exécuter des requêtes en même temps. Certaines requêtes peuvent consommer les ressources du cluster pendant de longues périodes et affecter les performances d'autres requêtes. Le manuel WLM peut aider à gérer cela pour des cas d'utilisation spécialisés. Utilisez le mode manuel WLM lorsque vous souhaitez mieux contrôler la simultanéité.

Vous pouvez gérer les performances du système en modifiant votre WLM configuration afin de créer des files d'attente distinctes pour les requêtes de longue durée et les requêtes de courte durée. Au moment de l’exécution, vous pouvez acheminer les requêtes vers ces files d’attente en fonction des groupes d’utilisateurs ou des groupes de requêtes.

Vous pouvez configurer des règles pour acheminer les requêtes vers des files d’attente spécifiques en fonction de l’utilisateur exécutant la requête ou d’étiquettes que vous spécifiez. Vous pouvez également configurer la quantité de mémoire allouée à chaque file d’attente, de telle sorte que les requêtes importantes s’exécutent dans des files d’attente disposant d’une mémoire supérieure aux autres files d’attente. Vous pouvez également configurer une règle de surveillance des requêtes (QMR) pour limiter les requêtes de longue durée. Pour de plus amples informations, veuillez consulter Manuel de mise en œuvre WLM.

Note

Nous vous recommandons de configurer vos files d'attente de WLM requêtes manuelles avec un total de 15 emplacements de requêtes ou moins. Pour de plus amples informations, veuillez consulter Niveau de simultanéité.

Notez qu'en ce qui concerne une WLM configuration manuelle, le nombre maximum d'emplacements que vous pouvez allouer à une file d'attente est de 50. Toutefois, cela ne signifie pas que dans une WLM configuration automatique, un cluster Amazon Redshift exécute toujours 50 requêtes simultanément. Cela peut changer en fonction des besoins en mémoire ou d’autres types d’allocation de ressources sur le cluster.

Rubriques

• WLMMode de commutation
• Modification de la WLM configuration
• Implémentation automatique WLM
• Manuel de mise en œuvre WLM
• Mise à l’échelle de la simultanéité
• Accélération des requêtes courtes
• WLMrègles d'attribution des files d'attente
• Affectation des requêtes à des files d’attente
• WLMpropriétés de configuration dynamiques et statiques
• WLMrègles de surveillance des requêtes
• WLMtables et vues du système

WLMMode de commutation

Vous pouvez activer le mode automatique ou manuel WLM à l'aide de la console Amazon Redshift :

1. Choisissez le WLMmode Switch.

2. Pour le paramétrer en mode automatiqueWLM, choisissez Auto WLM. En mode automatique, huit files d’attente maximum permettent de gérer les requêtes, et les champs Memory (Mémoire) et Concurrency on main (Simultanéité sur cluster principal) sont tous deux définis sur Auto. En outre, la priorité par défaut des requêtes est définie sur Normal.

3. Pour activer la configuration manuelle à l'aide de la console Amazon Redshift, passez à Manuel. WLM En mode manuel, vous spécifiez les files d’attente utilisées pour gérer les requêtes, ainsi que les valeurs des champs Mémoire et Concurrency on main (Simultanéité sur cluster principal). Avec la configuration manuelle, vous pouvez configurer jusqu’à huit files d’attente de requêtes et définir le nombre de requêtes qui peuvent s’exécuter dans chacune de ces files d’attente simultanément.

Modification de la WLM configuration

Le moyen le plus simple de modifier la WLM configuration consiste à utiliser la console Amazon Redshift. Vous pouvez également utiliser le AWS CLI ou Amazon RedshiftAPI.

Lorsque vous passez du mode automatique au mode manuelWLM, votre cluster est mis en pending reboot état. Cette modification prend seulement effet lors du prochain redémarrage d’un cluster.

Pour obtenir des informations détaillées sur la modification des WLM configurations, consultez la section Configuration de la gestion de la charge de travail dans le guide de gestion Amazon Redshift.

Migration du mode manuel WLM au mode automatique WLM

Pour optimiser le débit du système et utiliser les ressources le plus efficacement possible, nous vous recommandons de configurer automatiquement vos WLM files d'attente. Envisagez d'adopter l'approche suivante pour effectuer une transition en douceur du mode manuel WLM au mode automatiqueWLM.

Pour passer du mode manuel WLM au mode automatique WLM et utiliser des priorités de requête, nous vous recommandons de créer un nouveau groupe de paramètres, puis de l'associer à votre cluster. Pour plus d’informations, consultez Groupes de paramètres Amazon Redshift dans le Guide de gestion Amazon Redshift.

Important

Pour modifier le groupe de paramètres ou passer du mode manuel au mode automatique, WLM il faut redémarrer le cluster. Pour de plus amples informations, veuillez consulter WLMpropriétés de configuration dynamiques et statiques.

Prenons un exemple où il y a trois WLM files d'attente manuelles. Une pour chaque charge de ETL travail, une charge de travail analytique et une charge de travail de science des données. La ETL charge de travail s'exécute toutes les 6 heures, la charge de travail analytique s'exécute tout au long de la journée et la charge de travail liée à la science des données peut augmenter à tout moment. Avec le manuelWLM, vous spécifiez la mémoire et la simultanéité de chaque file d'attente de charge de travail en fonction de votre compréhension de l'importance de chaque charge de travail pour l'entreprise. La spécification de la mémoire et de la simultanéinté est non seulement difficile à comprendre, mais elle se traduit également par le partitionnement statique des ressources du cluster et par conséquent, par leur perte lorsque seul un sous-ensemble des charges de travail s’exécute.

Vous pouvez utiliser le mode automatique WLM avec des priorités de requête pour indiquer les priorités relatives des charges de travail, évitant ainsi les problèmes précédents. Pour cet exemple, procédez comme suit :

• Créez un nouveau groupe de paramètres et passez en WLM mode automatique.

• Ajoutez des files d'attente pour chacune des trois charges de travail : ETL charge de travail, charge de travail analytique et charge de travail de science des données. Utilisez les mêmes groupes d'utilisateurs pour chaque charge de travail utilisée en WLM mode manuel.

• Définissez la priorité de la ETL charge de travail àHigh, de la charge de travail analytique à Normal et de la science des données àLow. Ces priorités reflètent vos priorités métier pour les différents groupes d’utilisateurs ou charges de travail.

• Activez éventuellement le dimensionnement de la simultanéité pour la file d'attente d'analyse ou de science des données afin que les requêtes de ces files d'attente obtiennent des performances constantes même lorsque la ETL charge de travail est exécutée toutes les 6 heures.

Avec les priorités de requête, lorsque seule la charge de travail analytique s’exécute sur le cluster, elle bénéficie de l’intégralité des capacités du système. Cela permet d’obtenir un débit élevé et une meilleure utilisation du système. Cependant, lorsque la ETL charge de travail commence, elle est réglée car elle a une priorité plus élevée. Les requêtes exécutées dans le cadre de la ETL charge de travail sont prioritaires lors de l'admission, en plus de l'allocation préférentielle des ressources après leur admission. Par conséquent, la ETL charge de travail fonctionne de manière prévisible, quels que soient les autres éléments en cours d'exécution sur le système. Les performances prévisibles d’une charge de travail à priorité élevée s’effectuent au prix de charges de travail à priorité plus faible qui s’exécutent plus longtemps, car leurs requêtes attendent que des requêtes plus importantes se terminent. Ou, elles s’exécutent plus longtemps car elles récupèrent moins de ressources lorsqu’elles s’exécutent simultanément avec des requêtes à priorité plus élevée. Les algorithmes d’ordonnancement utilisés par Amazon Redshift facilitent le fait que les requêtes de moindre priorité ne souffrent pas de famine, mais continuent à progresser, bien qu’à un rythme plus lent.

Note

• Le champ de temporisation n'est pas disponible en mode automatiqueWLM. Utilisez plutôt la QMR règle,query_execution_time. Pour de plus amples informations, veuillez consulter WLMrègles de surveillance des requêtes.

• L'QMRaction ne HOP s'applique pas à l'automatiqueWLM. À la place, utilisez l’action change priority. Pour de plus amples informations, veuillez consulter WLMrègles de surveillance des requêtes.

• Les clusters utilisent différemment les WLM files d'attente automatiques WLM et manuelles, ce qui peut prêter à confusion avec vos configurations. Par exemple, vous pouvez configurer la propriété de priorité dans les WLM files d'attente automatiques, mais pas dans les files d'attente manuellesWLM. Par conséquent, évitez de mélanger des files d'attente automatiques et des WLM files d'attente manuelles au sein WLM d'un groupe de paramètres. Créez plutôt un nouveau groupe de paramètres lors de la migration vers le mode automatiqueWLM.