Gestion de la charge de travail

PDFRSS

Vous pouvez configurer Amazon Redshift WLM pour qu’il fonctionne en WLM automatique ou en WLM manuel.

Avec Amazon Redshift, vous pouvez gérer et hiérarchiser les requêtes simultanées et les charges de travail des utilisateurs afin d'optimiser les performances et l'utilisation des ressources. La gestion de la charge de travail (WLM) vous permet de définir des files d'attente, des groupes d'utilisateurs et d'autres structures pour contrôler les ressources allouées aux différents types de requêtes ou d'utilisateurs.

Les sections suivantes décrivent les fonctionnalités spécifiques de gestion de la charge de travail d'Amazon Redshift et vous guident dans leur configuration et leur surveillance.

Gestion automatique de la charge de travail

Pour maximiser le débit du système et utiliser les ressources efficacement, vous pouvez permettre à Amazon Redshift de gérer la façon dont les ressources sont divisées pour exécuter des requêtes simultanées avec WLM automatique. Le WLM automatique gère les ressources nécessaires à l’exécution des requêtes. Amazon Redshift détermine le nombre de requêtes exécutées simultanément et la quantité de mémoire allouée à chaque requête distribuée. Utilisez la gestion automatique de la charge de travail pour permettre à Amazon Redshift de gérer la façon dont les ressources sont divisées pour exécuter des requêtes simultanées. Pour de plus amples informations, veuillez consulter Implémentation de la gestion automatique de la charge de travail.

Avec la mise à l’échelle de la simultanéité et la gestion automatique de la charge de travail, vous pouvez prendre en charge un nombre pratiquement illimité d’utilisateurs simultanés et de requêtes simultanées, avec des performances de requêtes toujours rapides. Pour de plus amples informations, veuillez consulter Mise à l’échelle de la simultanéité.

Note

Dans la plupart des cas, nous vous recommandons d'utiliser le WLM automatique. Si vous utilisez le WLM manuel et que vous souhaitez passer du WLM automatique, consultez. Migration de la gestion manuelle de la charge de travail à la gestion automatique de la charge de travail

Avec Auto WLM, il est possible de définir les priorités des requêtes pour les charges de travail d'une file d'attente. Pour plus d’informations sur la priorité des requêtes, consultez Priorité de requête.

Gestion manuelle de la charge de travail

Vous pouvez avoir plusieurs sessions ou plusieurs utilisateurs peuvent exécuter des requêtes en même temps. Certaines requêtes peuvent consommer les ressources du cluster pendant de longues périodes et affecter les performances d'autres requêtes. Le WLM manuel peut aider à gérer cela pour des cas d'utilisation spécialisés. Utilisez la gestion manuelle de la charge de travail lorsque vous souhaitez plus de contrôle sur la simultanéité.

Vous pouvez gérer les performances du système en modifiant votre configuration WLM afin de créer des files d'attente distinctes pour les requêtes de longue durée et les requêtes de courte durée. Au moment de l’exécution, vous pouvez acheminer les requêtes vers ces files d’attente en fonction des groupes d’utilisateurs ou des groupes de requêtes.

Vous pouvez configurer des règles pour acheminer les requêtes vers des files d’attente spécifiques en fonction de l’utilisateur exécutant la requête ou d’étiquettes que vous spécifiez. Vous pouvez également configurer la quantité de mémoire allouée à chaque file d’attente, de telle sorte que les requêtes importantes s’exécutent dans des files d’attente disposant d’une mémoire supérieure aux autres files d’attente. Vous pouvez également configurer une règle de surveillance de requête (QRM) pour limiter les requêtes de longue durée. Pour de plus amples informations, veuillez consulter Implémentation de la gestion manuelle de la charge de travail.

Note

Nous vous recommandons de configurer vos files d’attente de requêtes WLM manuelles avec 15 emplacements de requête au maximum. Pour de plus amples informations, veuillez consulter Niveau de simultanéité.

Notez que dans le cas d’une configuration WLM manuelle, le nombre maximum d’emplacements que vous pouvez allouer à une file d’attente est de 50. Toutefois, cela ne signifie pas que dans une configuration WLM automatique, un cluster Amazon Redshift exécute toujours 50 requêtes simultanément. Cela peut changer en fonction des besoins en mémoire ou d’autres types d’allocation de ressources sur le cluster.

Rubriques

• Commutation du mode WLM

• Modifier la configuration WLM

• Implémentation de la gestion automatique de la charge de travail

• Implémentation de la gestion manuelle de la charge de travail

• Mise à l’échelle de la simultanéité

• Accélération des requêtes courtes

• Règles d’affectation de file d’attente de WLM

• Affectation des requêtes à des files d’attente

• Propriétés de configuration dynamiques et statiques WLM

• Règles de surveillance de requête WLM

• Tables et vues système WLM

Commutation du mode WLM

Vous pouvez activer le WLM automatique ou manuel à l'aide de la console Amazon Redshift :

1. Choisissez Switch WLM mode (Changer le mode de gestion de la charge de travail).

2. Pour le configurer sur WLM automatique, choisissez Auto WLM. En mode automatique, huit files d’attente maximum permettent de gérer les requêtes, et les champs Memory (Mémoire) et Concurrency on main (Simultanéité sur cluster principal) sont tous deux définis sur Auto. En outre, la priorité par défaut des requêtes est définie sur Normal.

3. Pour activer la configuration manuelle à l'aide de la console Amazon Redshift, passez au mode WLM manuel. En mode manuel, vous spécifiez les files d’attente utilisées pour gérer les requêtes, ainsi que les valeurs des champs Mémoire et Concurrency on main (Simultanéité sur cluster principal). Avec la configuration manuelle, vous pouvez configurer jusqu’à huit files d’attente de requêtes et définir le nombre de requêtes qui peuvent s’exécuter dans chacune de ces files d’attente simultanément.

Modifier la configuration WLM

La solution la plus simple pour modifier la configuration WLM consiste à utiliser la console Amazon Redshift. Vous pouvez également utiliser l'API AWS CLI ou l'API Amazon Redshift.

Lorsque vous basculez votre cluster de la gestion automatique de la charge de travail à la gestion manuelle de la charge de travail, ce dernier passe à l’état pending reboot. Cette modification prend seulement effet lors du prochain redémarrage d’un cluster.

Pour plus d’informations sur la modification des configurations WLM, consultez Configuration de la gestion de la charge de travail dans le Guide de la gestion du cluster Amazon Redshift.

Migration de la gestion manuelle de la charge de travail à la gestion automatique de la charge de travail

Pour optimiser le débit du système et utiliser efficacement les ressources, nous vous recommandons de définir la gestion automatique de la charge de travail pour vos files d’attente. Utilisez l’approche suivante pour configurer une transition en douceur entre la gestion manuelle de la charge de travail et la gestion automatique de la charge de travail.

Pour passer de la gestion manuelle de la charge de travail à la gestion automatique de la charge de travail, tout en utilisant les priorités de requête, nous vous recommandons de créer un nouveau groupe de paramètres, puis d’attacher ce groupe de paramètres à votre cluster. Pour plus d’informations, consultez Groupes de paramètres Amazon Redshift dans le Guide de gestion Amazon Redshift.

Important

La modification du groupe de paramètres ou le passage de la gestion manuelle de la charge de travail à la gestion automatique de la charge de travail exige un redémarrage du cluster. Pour de plus amples informations, veuillez consulter Propriétés de configuration dynamiques et statiques WLM.

Prenons un exemple avec trois files d’attente de gestion manuelle de la charge de travail. Une pour une charge de travail ETL, une pour une charge de travail d’analyse et une pour une charge de travail de science des données. La charge de travail ETL s’exécute toutes les 6 heures, la charge de travail d’analyse s’exécute tout au long de la journée et la charge de travail de science des données peut connaître des pics à tout moment. La gestion manuelle de la charge de travail vous permet de spécifier la mémoire et la simultanéité de chaque file d’attente de charge de travail, en fonction de votre compréhension de l’importance de chaque charge de travail pour l’entreprise. La spécification de la mémoire et de la simultanéinté est non seulement difficile à comprendre, mais elle se traduit également par le partitionnement statique des ressources du cluster et par conséquent, par leur perte lorsque seul un sous-ensemble des charges de travail s’exécute.

Vous pouvez utiliser une gestion automatique de la charge de travail avec des priorités de requête pour indiquer les priorités relatives des charges de travail, tout en évitant les problèmes précédents. Pour cet exemple, procédez comme suit :

• Créez un nouveau groupe de paramètres et passez en mode Auto WLM (Gestion automatique de la charge de travail).

• Ajoutez des files d’attente à chacune des trois charges de travail : charge de travail ETL, charge de travail d’analyse et charge de travail de sciences de données. Utilisez les mêmes groupes d’utilisateurs pour chaque charge de travail que ceux utilisés en mode Gestion manuelle de la charge de travail.

• Définissez la priorité sur High pour la charge de travail ETL, sur Normal pour la charge de travail d’analyse, et sur Low pour la charge de travail de science des données. Ces priorités reflètent vos priorités métier pour les différents groupes d’utilisateurs ou charges de travail.

• Vous pouvez également activer la mise à l’échelle de la simultanéité pour la file d’attente d’analyse ou de science des données, afin que les performances des requêtes de ces files d’attente soient cohérentes même lorsque la charge de travail ETL est exécutée toutes les 6 heures.

Avec les priorités de requête, lorsque seule la charge de travail analytique s’exécute sur le cluster, elle bénéficie de l’intégralité des capacités du système. Cela permet d’obtenir un débit élevé et une meilleure utilisation du système. Toutefois, lorsque la charge de travail ETL démarre, elle est prioritaire en raison de sa priorité élevée. En plus de bénéficier d’une allocation préférentielle des ressources après avoir été admises, les requêtes s’exécutant dans le cadre de la charge de travail ETL sont prioritaires pendant l’admission. Ainsi, la charge de travail ETL s’exécute de manière prévisible quelles que soient les autres exécutions sur le système. Les performances prévisibles d’une charge de travail à priorité élevée s’effectuent au prix de charges de travail à priorité plus faible qui s’exécutent plus longtemps, car leurs requêtes attendent que des requêtes plus importantes se terminent. Ou, elles s’exécutent plus longtemps car elles récupèrent moins de ressources lorsqu’elles s’exécutent simultanément avec des requêtes à priorité plus élevée. Les algorithmes d’ordonnancement utilisés par Amazon Redshift facilitent le fait que les requêtes de moindre priorité ne souffrent pas de famine, mais continuent à progresser, bien qu’à un rythme plus lent.

Note

• Le champ Timeout (Expiration) n’est pas disponible en gestion automatique de la charge de travail. À la place, utilisez la règle QMR, query_execution_time. Pour de plus amples informations, veuillez consulter Règles de surveillance de requête WLM.

• L’action QMR, HOP, n’est pas applicable à la gestion automatique de la charge de travail. À la place, utilisez l’action change priority. Pour de plus amples informations, veuillez consulter Règles de surveillance de requête WLM.

• Les clusters utilisent différemment les files d’attente WLM automatiques et manuelles, ce qui peut prêter à confusion avec vos configurations. Par exemple, vous pouvez configurer la propriété de priorité dans les files d’attente WLM automatiques mais pas dans les files d’attente WLM manuelles. De ce fait, évitez de mélanger les files d’attente WLM automatiques et manuelles au sein d’un groupe de paramètres. À la place, créez un nouveau groupe de paramètres lors du passage à la gestion automatique de la charge de travail.