Étape 2 : Vérifier l'environnement

Amazon EMR fonctionne dans le cadre d'un écosystème de services Web et de logiciels open source. Les facteurs qui affectent ces dépendances peuvent avoir un impact sur les performances d'AmazonEMR.

Recherche d'interruptions de service

Amazon EMR utilise plusieurs Amazon Web Services en interne. Il exécute des serveurs virtuels sur AmazonEC2, stocke des données et des scripts sur Amazon S3 et transmet des métriques à CloudWatch. Les événements qui perturbent ces services sont rares, mais lorsqu'ils se produisent, ils peuvent entraîner des problèmes sur AmazonEMR.

Avant d'aller plus loin, consultez le Tableau de bord de l'état des services. Vérifiez la région dans laquelle vous avez lancé votre cluster pour voir s'il y a des interruptions dans l'un de ces services.

Recherche des limites d'utilisation

Si vous lancez un cluster de grande taille, si vous avez lancé plusieurs clusters simultanément ou si vous êtes un utilisateur partageant un Compte AWS avec d'autres utilisateurs, le cluster a peut-être échoué parce que vous avez dépassé un AWS limite de service.

Amazon EC2 limite le nombre d'instances de serveurs virtuels exécutées sur une seule instance AWS Région allant jusqu'à 20 instances réservées ou à la demande. Si vous lancez un cluster comportant plus de 20 nœuds, ou si vous lancez un cluster qui entraîne le nombre total d'EC2instances actives sur votre Compte AWS au-delà de 20, le cluster ne sera pas en mesure de lancer toutes les EC2 instances dont il a besoin et risque d'échouer. Dans ce cas, Amazon EMR renvoie un EC2 QUOTA EXCEEDED message d'erreur. Vous pouvez demander que AWS augmentez le nombre d'EC2instances que vous pouvez exécuter sur votre compte en soumettant une demande d'augmentation de la limite d'EC2instance Amazon.

Le délai entre la fermeture d'un cluster et le moment où il libère toutes ses ressources peut également vous faire dépasser vos limites d'utilisation. Selon sa configuration, il peut s'écouler entre 5 et 20 minutes avant que le cluster ne se termine complètement et ne libère les ressources qui lui ont été allouées. Si vous obtenez une erreur EC2 QUOTA EXCEEDED lorsque vous tentez de lancer un cluster, il est possible que des ressources provenant d'un cluster récemment arrêté n'aient pas encore été libérées. Dans ce cas, vous pouvez soit demander que votre EC2 quota Amazon soit augmenté, soit attendre vingt minutes avant de relancer le cluster.

Amazon S3 limite le nombre de compartiments créés sur un compte à 100. Si votre cluster crée un nouveau compartiment qui dépasse cette limite, la création du compartiment échouera et peut entraîner l'échec du cluster.

Vérification de la version

Comparez l'étiquette de version que vous avez utilisée pour lancer le cluster avec la dernière EMR version d'Amazon. Chaque version d'Amazon EMR inclut des améliorations telles que de nouvelles applications, de nouvelles fonctionnalités, des correctifs et des corrections de bogues. Le problème qui affecte votre cluster a peut-être déjà été corrigé dans la dernière version. Si possible, réexécutez votre cluster à l'aide de la dernière version.

Vérifiez la configuration du VPC sous-réseau Amazon

Si votre cluster a été lancé dans un VPC sous-réseau Amazon, celui-ci doit être configuré comme décrit dans. Configurer le réseau dans un VPC pour Amazon EMR Vérifiez également que le sous-réseau dans lequel vous lancez le cluster possède suffisamment d'adresses IP élastiques libres pour en attribuer une à chaque nœud du cluster.