Concepts
Spazio dei nomi Kubernetes
Amazon EKS utilizza gli spazi dei nomi Kubernetes per suddividere le risorse del cluster tra più utenti e applicazioni. Questi spazi dei nomi costituiscono la base degli ambienti multi-tenant. Uno spazio dei nomi Kubernetes può avere Amazon EC2 o AWS Fargate come provider di calcolo. Questa flessibilità offre diverse opzioni di prestazioni e costi per l'esecuzione dei processi.
Cluster virtuale
Un cluster virtuale è uno spazio dei nomi Kubernetes con cui è registrato Amazon EMR. Amazon EMR utilizza cluster virtuali per eseguire processi e ospitare endpoint. Più cluster virtuali possono essere supportati dallo stesso cluster fisico. Tuttavia, ogni cluster virtuale esegue la mappatura a uno spazio dei nomi in un cluster EKS. I cluster virtuali non creano risorse attive che incrementano i costi in fattura o che richiedono la gestione del ciclo di vita all'esterno del servizio.
Esecuzione del processo
L'esecuzione di un processo è un'unità di lavoro, ad esempio un jar Spark, uno script PySpark o una query SparkSQL, che l'utente invia ad Amazon EMR su EKS. Un processo può avere più esecuzioni. Quando si invia l'esecuzione di un processo, occorre includere le seguenti informazioni:
Un cluster virtuale in cui deve essere eseguito il processo.
Un nome per identificare il processo.
Ruolo di esecuzione: un ruolo IAM definito che esegue il processo e consente di specificare le risorse a cui è possibile accedere tramite il processo.
L'etichetta di rilascio di Amazon EMR che specifica la versione delle applicazioni open source da utilizzare.
Gli artefatti da utilizzare durante l'invio del processo, ad esempio i parametri spark-submit.
Per impostazione predefinita, i log vengono caricati su Spark History Server e sono accessibili da AWS Management Console. È inoltre possibile inviare log eventi, log di esecuzione e parametri ad Amazon S3 e Amazon CloudWatch.
Container di Amazon EMR
Un container di Amazon EMR è il nome dell'API per Amazon EMR su EKS. Il prefisso emr-containers
viene utilizzato nei seguenti scenari:
È il prefisso nei comandi CLI per Amazon EMR su EKS. Ad esempio,
aws emr-containers start-job-run
.È il prefisso prima delle operazioni di policy IAM per Amazon EMR su EKS. Ad esempio,
"Action": [ "emr-containers:StartJobRun"]
. Per ulteriori informazioni, consulta Operazioni di policy per Amazon EMR su EKS.È il prefisso utilizzato negli endpoint del servizio di Amazon EMR su EKS. Ad esempio,
emr-containers.us-east-1.amazonaws.com
. Per ulteriori informazioni, consulta Endpoint del servizio di Amazon EMR su EKS.