Gestion des clusters virtuels

Le cluster virtuel est un espace de noms Kubernetes que vous enregistrez sur Amazon EMR. Vous pouvez créer, décrire, répertorier et supprimer des clusters virtuels. Ils ne consomment pas de ressources supplémentaires dans votre système. Un cluster virtuel unique est mappé à un seul espace de noms Kubernetes. Compte tenu de cette relation, vous pouvez modéliser les clusters virtuels de la même façon que les espaces de noms Kubernetes pour répondre à vos besoins. Découvrez les cas d'utilisation possibles dans la documentation de présentation des concepts de Kubernetes.

Pour enregistrer Amazon EMR dans un espace de noms Kubernetes sur un cluster Amazon EKS, vous avez besoin du nom du cluster EKS et de l'espace de noms configuré pour l'exécution de votre charge de travail. Ces clusters enregistrés dans Amazon EMR sont appelés clusters virtuels, car ils ne gèrent pas le calcul physique ou le stockage, mais pointent vers un espace de noms Kubernetes dans lequel votre charge de travail est planifiée.

Note

Avant de créer un cluster virtuel, vous devez d'abord effectuer les étapes 1 à 8 dans Configuration d'Amazon EMR on EKS.

Création d'un cluster local

Exécutez la commande ci-dessous pour créer un cluster virtuel en enregistrant Amazon EMR dans un espace de noms sur un cluster EKS. Remplacez virtual_cluster_name par le nom que vous donnez à votre cluster virtuel. Remplacez eks_cluster_name par le nom du cluster EKS. Remplacez namespace_name par l'espace de noms dans lequel vous souhaitez enregistrer Amazon EMR.

aws emr-containers create-virtual-cluster \
--name virtual_cluster_name \
--container-provider '{
    "id": "eks_cluster_name",
    "type": "EKS",
    "info": {
        "eksInfo": {
            "namespace": "namespace_name"
        }
    }
}' 

Vous pouvez également créer un fichier JSON qui inclut les paramètres requis pour le cluster virtuel, comme le montre l'exemple ci-dessous.

{
    "name": "virtual_cluster_name", 
    "containerProvider": {
        "type": "EKS", 
        "id": "eks_cluster_name", 
        "info": {
            "eksInfo": {
                "namespace": "namespace_name"
            }
        }
    }
}

Exécutez ensuite la commande create-virtual-cluster ci-dessous avec le chemin d'accès au fichier JSON.

aws emr-containers create-virtual-cluster \
--cli-input-json file://./create-virtual-cluster-request.json
    

Note

Pour valider la création réussie d'un cluster virtuel, consultez l'état des clusters virtuels en exécutant la commande list-virtual-clusters ou en accédant à la page Clusters virtuels dans la console Amazon EMR.

Liste des clusters virtuels

Exécutez la commande ci-dessous pour consulter l'état des clusters virtuels.

aws emr-containers list-virtual-clusters

Description d'un cluster virtuel

Exécutez la commande ci-dessous pour obtenir plus de détails sur un cluster virtuel, tels que l'espace de noms, l'état et la date d'enregistrement. Remplacez 123456 par l'identifiant de votre cluster virtuel.

aws emr-containers describe-virtual-cluster --id 123456

Suppression d'un cluster virtuel

Exécutez la commande ci-dessous pour supprimer un cluster virtuel. Remplacez 123456 par l'identifiant de votre cluster virtuel.

aws emr-containers delete-virtual-cluster --id 123456

États du cluster virtuel

Le tableau ci-dessous décrit les quatre états possibles d'un cluster virtuel.

State	Description
RUNNING	Le cluster virtuel est en état RUNNING.
TERMINATING	L'arrêt demandé du cluster virtuel est en cours.
TERMINATED	L'arrêt demandé est terminé.
ARRESTED	L'arrêt demandé a échoué en raison de l'insuffisance des autorisations.