Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation d'une politique de résiliation automatique
Une politique de résiliation automatique vous permet d'orchestrer le nettoyage des clusters sans avoir à surveiller et à résilier manuellement les clusters inutilisés. Lorsque vous ajoutez une politique de résiliation automatique à un cluster, vous spécifiez la durée d'inactivité après laquelle le cluster doit se résilier automatiquement..
Selon la version publiée, Amazon EMR utilise différents critères pour marquer un cluster comme inactif. Le tableau suivant explique comment Amazon EMR détermine l'inactivité du cluster.
Lorsque vous utilisez... | Un cluster est considéré comme inactif lorsque... |
---|---|
Amazon EMR versions 5.34.0 et ultérieures, et 6.4.0 et versions ultérieures |
|
EMRVersions d'Amazon 5.30.0 à 5.33.0 et 6.1.0 à 6.3.0 |
NoteAmazon EMR marque un cluster comme inactif et peut le fermer automatiquement même si vous avez un noyau Python3 actif. Cela est dû au fait que l'exécution d'un noyau Python3 ne soumet pas de tâche Spark sur le cluster. Pour utiliser la terminaison automatique avec un noyau Python3, nous vous recommandons d'utiliser Amazon EMR version 6.4.0 ou ultérieure. |
Note
EMRLes versions 6.4.0 et ultérieures d'Amazon prennent en charge un fichier sur le cluster pour détecter l'activité sur le nœud principal :. /emr/metricscollector/isbusy
Lorsque vous utilisez un cluster pour exécuter des scripts shell ou des applications autres que des YARN applications, vous pouvez régulièrement le toucher ou le mettre isbusy
à jour pour indiquer à Amazon EMR que le cluster n'est pas inactif.
Vous pouvez associer une politique de résiliation automatique lorsque vous créez un cluster ou lorsque vous ajoutez une politique à un cluster existant. Pour modifier ou désactiver la résiliation automatique, vous pouvez mettre à jour ou supprimer la politique.
Considérations
Tenez compte des fonctions et des limites suivantes avant d'utiliser une politique de résiliation automatique :
-
Dans ce qui suit Régions AWS, la EMR résiliation automatique d'Amazon est disponible avec Amazon EMR 6.14.0 et versions ultérieures :
-
Asie-Pacifique (Hyderabad) (ap-south-2)
-
Asie-Pacifique (Jakarta) (ap-southeast-3)
-
Europe (Espagne) (eu-south-2)
-
-
Dans ce qui suit Régions AWS, la EMR résiliation automatique d'Amazon est disponible avec Amazon EMR 5.30.0, 6.1.0 et versions ultérieures :
USA Est (Virginie du Nord) (us-east-1)
USA Est (Ohio) (us-east-2)
USA Ouest (Oregon) (us-west-2)
US Ouest (N. California) (us-west-1)
Afrique (Le Cap) (af-south-1)
Asie-Pacifique (Hong Kong) (ap-east-1)
Asie-Pacifique (Mumbai) (ap-south-1)
Asie-Pacifique (Séoul) (ap-northeast-2)
Asie-Pacifique (Singapour) (ap-southeast-1)
Asie-Pacifique (Sydney) (ap-southeast-2)
Asie-Pacifique (Tokyo) (ap-northeast-1)
Canada (Centre) (ca-central-1)
Amérique du Sud (São Paulo) (sa-east-1)
Europe (Francfort) (eu-central-1)
Europe (Irlande) (eu-west-1)
Europe (Londres) (eu-west-2)
Europe (Milan) (eu-south-1)
Europe (Paris) (eu-west-3)
Europe (Stockholm) (eu-north-1)
Chine (Beijing) cn-north-1
Chine (Ningxia) cn-northwest-1
AWS GovCloud (USA Est) (us-gov-east-1)
AWS GovCloud (US-Ouest) (us-gov-west-1)
-
Le délai d'inactivité est par défaut de 60 minutes (une heure) lorsque vous ne spécifiez pas de montant. Vous pouvez spécifier un délai d'inactivité minimal d'une minute et un délai d'inactivité maximal de 7 jours.
-
Avec EMR les versions 6.4.0 et ultérieures d'Amazon, la résiliation automatique est activée par défaut lorsque vous créez un nouveau cluster avec la console AmazonEMR.
-
Amazon EMR publie des Amazon CloudWatch métriques en haute résolution lorsque vous activez la résiliation automatique pour un cluster. Vous pouvez utiliser ces indicateurs pour suivre l'activité et l'inactivité du cluster. Pour de plus amples informations, veuillez consulter Métriques de capacité de cluster.
-
La résiliation automatique n'est pas prise en charge lorsque vous utilisez des applications non YARN basées telles que Presto, Trino ou. HBase
-
Pour utiliser la terminaison automatique, le processus de collecte de mesures doit être en mesure de se connecter au point de API terminaison public pour la terminaison automatique dans Gateway. API Si vous utilisez un DNS nom privé avec Amazon Virtual Private Cloud, la terminaison automatique ne fonctionnera pas correctement. Pour garantir le bon fonctionnement de la résiliation automatique, nous vous recommandons de prendre l'une des mesures suivantes :
-
Supprimez le point de VPC terminaison de l'interface API Gateway de votre AmazonVPC.
-
Suivez les instructions de la section Pourquoi est-ce que je reçois une erreur HTTP 403 Forbidden lorsque je me connecte à ma API passerelle APIs depuis un VPC ?
pour désactiver le paramètre de DNS nom privé. -
Lancez votre cluster dans un sous-réseau privé à la place. Pour plus d'informations, consultez la rubrique sur Sous-réseaux privés.
-
-
(EMR5.30.0 et versions ultérieures) Si vous supprimez la règle Autoriser tout le trafic sortant par défaut à 0.0.0.0/ pour le groupe de sécurité principal, vous devez ajouter une règle qui autorise la TCP connectivité sortante à votre groupe de sécurité pour l'accès au service sur le port 9443. Votre groupe de sécurité pour l'accès au service doit également autoriser le TCP trafic entrant sur le port 9443 en provenance du groupe de sécurité principal. Pour plus d'informations sur la configuration des groupes de sécurité, consultez le groupe de sécurité EMR géré par Amazon pour l'instance principale (sous-réseaux privés).
Autorisations d'utilisation de la résiliation automatique
Avant de pouvoir appliquer et gérer les politiques de résiliation automatique pour AmazonEMR, vous devez associer les autorisations répertoriées dans l'exemple de politique d'IAMautorisation suivant aux IAM ressources qui gèrent votre EMR cluster.
{ "Version": "2012-10-17", "Statement": { "Sid": "AllowAutoTerminationPolicyActions", "Effect": "Allow", "Action": [ "elasticmapreduce:PutAutoTerminationPolicy", "elasticmapreduce:GetAutoTerminationPolicy", "elasticmapreduce:RemoveAutoTerminationPolicy" ], "Resource": "
<your-resources>
" } }
Attacher, mettre à jour ou supprimer une politique de résiliation automatique
Cette section contient des instructions pour vous aider à joindre, mettre à jour ou supprimer une politique de résiliation automatique d'un EMR cluster Amazon. Avant de travailler avec des politiques de résiliation automatique, assurez-vous de disposer des IAM autorisations nécessaires. Consultez Autorisations d'utilisation de la résiliation automatique.