Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Comment les composants fonctionnent ensemble
Les étapes et le schéma diagramme illustrent le flux de travail Amazon EMR on EKS :
-
Utilisez un cluster Amazon EKS existant ou créez-en un à l'aide de l'utilitaire de ligne de commande eksctl ou de la console Amazon EKS.
-
Créez un cluster virtuel en enregistrant Amazon EMR avec un espace de noms sur un cluster EKS.
-
Soumettez votre tâche au cluster virtuel à l'aide de la AWS CLI ou du kit SDK.
En enregistrant Amazon EMR dans un espace de noms Kubernetes sur Amazon EKS, vous créez un cluster virtuel. Amazon EMR peut alors exécuter des charges de travail analytiques sur cet espace de noms. Lorsque vous utilisez Amazon EMR on EKS pour soumettre des tâches Spark au cluster virtuel, Amazon EMR on EKS demande au planificateur Kubernetes sur Amazon EKS de planifier des pods.
Pour chaque tâche que vous exécutez, Amazon EMR on EKS crée un conteneur avec une image de base Amazon Linux 2, Apache Spark, et les dépendances associées. Chaque tâche s'exécute dans un pod qui télécharge le conteneur et commence à l'exécuter. Le pod s'arrête une fois la tâche terminée. Si l'image du conteneur a déjà été déployée sur le nœud, une image en cache est utilisée et le téléchargement est évité. Des conteneurs sidecar, tels que ceux pour la redirection de journaux ou de métriques, peuvent être déployés dans le pod. Une fois la tâche terminée, vous pouvez toujours la déboguer à l'aide de l'interface utilisateur de l'application Spark dans la console Amazon EMR.
