Modifier la configuration WLM

La solution la plus simple pour modifier la configuration WLM consiste à utiliser la console Amazon Redshift. Vous pouvez également utiliser l'API AWS CLI ou l'API Amazon Redshift.

Lorsque vous basculez votre cluster de la gestion automatique de la charge de travail à la gestion manuelle de la charge de travail, ce dernier passe à l’état pending reboot. Cette modification prend seulement effet lors du prochain redémarrage d’un cluster.

Pour plus d’informations sur la modification des configurations WLM, consultez Configuration de la gestion de la charge de travail dans le Guide de la gestion du cluster Amazon Redshift.

Migration de la gestion manuelle de la charge de travail à la gestion automatique de la charge de travail

Pour optimiser le débit du système et utiliser efficacement les ressources, nous vous recommandons de définir la gestion automatique de la charge de travail pour vos files d’attente. Utilisez l’approche suivante pour configurer une transition en douceur entre la gestion manuelle de la charge de travail et la gestion automatique de la charge de travail.

Pour passer de la gestion manuelle de la charge de travail à la gestion automatique de la charge de travail, tout en utilisant les priorités de requête, nous vous recommandons de créer un nouveau groupe de paramètres, puis d’attacher ce groupe de paramètres à votre cluster. Pour plus d’informations, consultez Groupes de paramètres Amazon Redshift dans le Guide de gestion Amazon Redshift.

Important

La modification du groupe de paramètres ou le passage de la gestion manuelle de la charge de travail à la gestion automatique de la charge de travail exige un redémarrage du cluster. Pour de plus amples informations, veuillez consulter Propriétés de configuration dynamiques et statiques WLM.

Prenons un exemple avec trois files d’attente de gestion manuelle de la charge de travail. Une pour une charge de travail ETL, une pour une charge de travail d’analyse et une pour une charge de travail de science des données. La charge de travail ETL s’exécute toutes les 6 heures, la charge de travail d’analyse s’exécute tout au long de la journée et la charge de travail de science des données peut connaître des pics à tout moment. La gestion manuelle de la charge de travail vous permet de spécifier la mémoire et la simultanéité de chaque file d’attente de charge de travail, en fonction de votre compréhension de l’importance de chaque charge de travail pour l’entreprise. La spécification de la mémoire et de la simultanéinté est non seulement difficile à comprendre, mais elle se traduit également par le partitionnement statique des ressources du cluster et par conséquent, par leur perte lorsque seul un sous-ensemble des charges de travail s’exécute.

Vous pouvez utiliser une gestion automatique de la charge de travail avec des priorités de requête pour indiquer les priorités relatives des charges de travail, tout en évitant les problèmes précédents. Pour cet exemple, procédez comme suit :

• Créez un nouveau groupe de paramètres et passez en mode Auto WLM (Gestion automatique de la charge de travail).

• Ajoutez des files d’attente à chacune des trois charges de travail : charge de travail ETL, charge de travail d’analyse et charge de travail de sciences de données. Utilisez les mêmes groupes d’utilisateurs pour chaque charge de travail que ceux utilisés en mode Gestion manuelle de la charge de travail.

• Définissez la priorité sur High pour la charge de travail ETL, sur Normal pour la charge de travail d’analyse, et sur Low pour la charge de travail de science des données. Ces priorités reflètent vos priorités métier pour les différents groupes d’utilisateurs ou charges de travail.

• Vous pouvez également activer la mise à l’échelle de la simultanéité pour la file d’attente d’analyse ou de science des données, afin que les performances des requêtes de ces files d’attente soient cohérentes même lorsque la charge de travail ETL est exécutée toutes les 6 heures.

Avec les priorités de requête, lorsque seule la charge de travail analytique s’exécute sur le cluster, elle bénéficie de l’intégralité des capacités du système. Cela permet d’obtenir un débit élevé et une meilleure utilisation du système. Toutefois, lorsque la charge de travail ETL démarre, elle est prioritaire en raison de sa priorité élevée. En plus de bénéficier d’une allocation préférentielle des ressources après avoir été admises, les requêtes s’exécutant dans le cadre de la charge de travail ETL sont prioritaires pendant l’admission. Ainsi, la charge de travail ETL s’exécute de manière prévisible quelles que soient les autres exécutions sur le système. Les performances prévisibles d’une charge de travail à priorité élevée s’effectuent au prix de charges de travail à priorité plus faible qui s’exécutent plus longtemps, car leurs requêtes attendent que des requêtes plus importantes se terminent. Ou, elles s’exécutent plus longtemps car elles récupèrent moins de ressources lorsqu’elles s’exécutent simultanément avec des requêtes à priorité plus élevée. Les algorithmes d’ordonnancement utilisés par Amazon Redshift facilitent le fait que les requêtes de moindre priorité ne souffrent pas de famine, mais continuent à progresser, bien qu’à un rythme plus lent.

Note

• Le champ Timeout (Expiration) n’est pas disponible en gestion automatique de la charge de travail. À la place, utilisez la règle QMR, query_execution_time. Pour de plus amples informations, veuillez consulter Règles de surveillance de requête WLM.

• L’action QMR, HOP, n’est pas applicable à la gestion automatique de la charge de travail. À la place, utilisez l’action change priority. Pour de plus amples informations, veuillez consulter Règles de surveillance de requête WLM.

• Les clusters utilisent différemment les files d’attente WLM automatiques et manuelles, ce qui peut prêter à confusion avec vos configurations. Par exemple, vous pouvez configurer la propriété de priorité dans les files d’attente WLM automatiques mais pas dans les files d’attente WLM manuelles. De ce fait, évitez de mélanger les files d’attente WLM automatiques et manuelles au sein d’un groupe de paramètres. À la place, créez un nouveau groupe de paramètres lors du passage à la gestion automatique de la charge de travail.