Ejemplo de WLM dinámica - Amazon Redshift

Amazon Redshift dejará de admitir la creación de nuevas UDF de Python a partir del 1 de noviembre de 2025. Si desea utilizar las UDF de Python, créelas antes de esa fecha. Las UDF de Python existentes seguirán funcionando con normalidad. Para obtener más información, consulte la publicación del blog.

Ejemplo de WLM dinámica

Con Amazon Redshift, puede administrar automáticamente la distribución de la carga de trabajo y la asignación de recursos en los clústeres de Amazon Redshift mediante WLM dinámica (Administración de la carga de trabajo). La WLM dinámica es un ejemplo de configuración de administración de la carga de trabajo (WLM) que ajusta dinámicamente las asignaciones de memoria en función de las demandas de carga de trabajo, lo que permite una simultaneidad y un rendimiento óptimos. En la siguiente sección, se proporcionan detalles sobre la implementación y la configuración de WLM dinámica para los clústeres de Amazon Redshift.

Suponga que el clúster de WLM está configurado con dos colas que utilizan las siguientes propiedades dinámicas.

Cola Simultaneidad % de memoria por utilizar

1

4

50%

2

4

50%

Ahora suponga que el clúster tiene 200 GB de memoria disponible para el procesamiento de consultas. (Este número es arbitrario y se usa únicamente a título ilustrativo). Como muestra la siguiente ecuación, a cada slot se le asignan 25 GB. 

(200 GB * 50% ) / 4 slots  = 25 GB

A continuación, cambie el WLM para utilizar las siguientes propiedades dinámicas.

Cola Simultaneidad % de memoria por utilizar

1

3

75%

2

4

25%

Como muestra la siguiente ecuación, la nueva asignación de memoria para cada slot de la cola 1 es de 50 GB. 

(200 GB * 75% ) / 3 slots = 50 GB

Suponga que las consultas A1, A2, A3 y A4 se ejecutan cuando se aplica la nueva configuración y las consultas B1, B2, B3 y B4 están en cola. WLM reconfigura de forma dinámica los slots de consultas del modo siguiente.

Paso Consultas en ejecución Número de slots actual Número de slots de destino Memoria asignada Memoria disponible
1 A1, A2, A3, A4 4 0 100 GB 50 GB
2 A2, A3, A4 3 0 75 GB 75 GB
3 A3, A4 2 0 50 GB 100 GB
4 A3, A4, B1 2. 1 100 GB 50 GB
5 A4, B1 1 1 75 GB 75 GB
6 A4, B1, B2 1 2 125 GB 25 GB
7 B1, B2 0 2 100 GB 50 GB
8 B1, B2, B3 0 3 150 GB 0 GB

  1. WLM recalcula la asignación de memoria para cada slot de consultas. Originalmente, la cola 1 tenía asignados 100 GB. La cola nueva tiene una asignación total de 150 GB, por lo que la cola nueva tiene de inmediato 50 GB disponibles. La cola 1 ahora utiliza cuatro slots y el nivel de simultaneidad nuevo es de tres slots, por lo no se añaden slots nuevos.

  2. Cuando una consulta finaliza, el slot se elimina y se liberan 25 GB. La cola 1 ahora tiene tres slots y 75 GB de memoria disponible. La nueva configuración requiere 50 GB para cada slot nuevo, pero el nivel de simultaneidad nuevo es de tres slots, por lo no se añaden slots nuevos.

  3. Cuando una segunda consulta finaliza, el slot se elimina y se liberan 25 GB. La cola 1 ahora tiene dos slots y 100 GB de memoria libre.

  4. Se añade un slot nuevo que utiliza 50 GB de la memoria libre. La cola 1 ahora tiene tres slots y 50 GB de memoria libre. Las consultas en cola ahora se pueden dirigir al slot nuevo.

  5. Cuando una tercera consulta finaliza, el slot se elimina y se liberan 25 GB. La cola 1 ahora tiene dos slots y 75 GB de memoria libre.

  6. Se añade un slot nuevo que utiliza 50 GB de la memoria libre. La cola 1 ahora tiene tres slots y 25 GB de memoria libre. Las consultas en cola ahora se pueden dirigir al slot nuevo.

  7. Cuando la cuarta consulta finaliza, el slot se elimina y se liberan 25 GB. La cola 1 ahora tiene dos slots y 50 GB de memoria libre.

  8. Se añade un slot nuevo que utiliza los 50 GB de memoria libre. La cola 1 ahora tiene tres slots con 50 GB cada uno y se ha asignado toda la memoria disponible.

Se completó la transición y todos los slots de consultas están disponibles para las consultas en cola.