Utilisation du dimensionnement automatique de Presto avec désaffectation gracieuse

Les EMR versions 5.30.0 et ultérieures d'Amazon incluent une fonctionnalité que vous pouvez utiliser pour définir une période de grâce pour certaines actions de dimensionnement. La période de grâce permet aux tâches Presto de continuer à s'exécuter avant que le nœud ne se résilie en raison d'une action de redimensionnement ou d'une demande de politique de dimensionnement automatique. Pour plus d'informations sur les règles de dimensionnement, consultez Comprendre les règles de dimensionnement automatique dans le Amazon EMR Management Guide. Presto autoscaling avec la mise hors service gracieuse empêche la planification de nouvelles tâches sur un nœud en cours de mise hors service, tout en permettant aux tâches déjà en cours d'exécution de se terminer avant que le délai d'arrêt ne soit atteint. Les requêtes en cours d'exécution se termineront avant que le nœud soit désaffecté. Autoscaling n'est pas pris en charge sur les parcs d'instances.

Vous pouvez contrôler le délai d'exécution des tâches Presto après réception d'une demande d'arrêt automatique. Par défaut, le délai d'arrêt d'Amazon EMR est de 0 quelques minutes, ce qui signifie qu'Amazon met EMR immédiatement fin au nœud et à toutes les tâches Presto exécutées sur celui-ci, si une demande d'extension l'exige. Pour définir un délai d'expiration plus long pour les tâches Presto sur Amazon EMR afin de permettre aux requêtes en cours d'exécution de se terminer avant de réduire la taille d'un cluster, utilisez la classification de presto-config configuration pour définir le graceful-shutdown-timeout paramètre sur une valeur en secondes ou minutes supérieure à zéro. Pour de plus amples informations, veuillez consulter Configuration des applications.

Par exemple, l'augmentation de la valeur graceful-shutdown-timeout à "30m" spécifie un délai d'attente de 30 minutes. À la fin du délai d'arrêt, le nœud marqué pour la désaffectation fait l'objet d'un arrêt forcé s'il attend que des tâches de requête se terminent. Dans ce cas, la requête échoue. Si les tâches de requête se terminent dans cinq minutes, le nœud marqué pour la mise hors service s'arrête dans cinq minutes, à condition que les autres YARN applications aient terminé leur exécution.

Exemple de configuration de dimensionnement automatique Presto avec désaffectation gracieuse

Remplacez la valeur graceful-shutdown-timeout par le nombre de minutes approprié pour votre configuration. Il n'y a pas de valeur maximale. L'exemple ci-dessous définit une valeur de délai d'arrêt de 1800 secondes (30 minutes).

[
    {
        "classification": "presto-config",
        "properties": {
            "graceful-shutdown-timeout": "1800s"
        }
    }
]
            

Limites

La mise hors service gracieuse de PrestoDB ne fonctionne pas sur les clusters HTTP où la connectivité est désactivée, par exemple quand elle est définie EMR sur. http-server.http.enabled false Trino ne prend pas du tout en charge la mise hors service gracieuse, quel que soit le paramètre http-server.http.enabled.