Conceptos - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Conceptos

Espacio de nombres de Kubernetes

Amazon EKS usa los espacios de nombres de Kubernetes para dividir los recursos del clúster entre varios usuarios y aplicaciones. Estos espacios de nombres son la base de los entornos de múltiples inquilinos. Un espacio de nombres de Kubernetes puede tener Amazon EC2 o AWS Fargate como proveedor de computación. Esta flexibilidad le proporciona diferentes opciones de rendimiento y costo para ejecutar sus trabajos.

Clúster virtual

Un clúster virtual es un espacio de nombres de Kubernetes en el que Amazon EMR está registrado. Amazon EMR utiliza clústeres virtuales para ejecutar trabajos y alojar puntos de conexión. El mismo clúster físico puede respaldar varios clústeres virtuales. Sin embargo, cada clúster virtual se asigna a un espacio de nombres de un clúster de EKS. Los clústeres virtuales no crean ningún recurso activo que contribuya a su factura o que requiera una administración del ciclo de vida externa al servicio.

Ejecución de trabajo

Una ejecución de trabajo es una unidad de trabajo, como un jar de Spark, un script de PySpark o una consulta de SparkSQL, que se envía a Amazon EMR en EKS. Un trabajo puede tener varias ejecuciones. Cuando envía una ejecución de trabajo, incluye la siguiente información:

  • Un clúster virtual en el que debe ejecutarse el trabajo.

  • Un nombre de trabajo para identificarlo.

  • El rol de ejecución: un rol de IAM delimitado que ejecuta el trabajo y le permite especificar a qué recursos puede acceder el trabajo.

  • La etiqueta de versión de Amazon EMR que especifica la versión de las aplicaciones de código abierto que se van a utilizar.

  • Los artefactos que debe utilizar al enviar su trabajo, como los parámetros spark-submit.

De forma predeterminada, los registros se cargan en el servidor de Spark History y se puede acceder a ellos desde la AWS Management Console. También puede enviar registros de eventos, registros de ejecución y métricas a Amazon S3 y Amazon CloudWatch.

Contenedores de Amazon EMR

Contenedores de Amazon EMR es el nombre de la API de Amazon EMR en EKS. El prefijo emr-containers se utiliza en las siguientes situaciones:

  • Es el prefijo en los comandos de la CLI de Amazon EMR en EKS. Por ejemplo, aws emr-containers start-job-run.

  • Es el prefijo antes de las acciones de la política de IAM de Amazon EMR en EKS. Por ejemplo, "Action": [ "emr-containers:StartJobRun"]. Para obtener más información, consulte Acciones de política de Amazon EMR en EKS.

  • Es el prefijo que se utiliza en los puntos de conexión de servicio de Amazon EMR en EKS. Por ejemplo, emr-containers.us-east-1.amazonaws.com. Para obtener más información, consulte Puntos de conexión de servicio de Amazon EMR en EKS.