Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso del escalado automático vertical con el operador Spark para Amazon activado EMR EKS
A partir de Amazon EMR 7.0, puede usar Amazon EMR en el escalado automático EKS vertical para simplificar la administración de recursos. Ajusta automáticamente la memoria y CPU los recursos para adaptarlos a las necesidades de la carga de trabajo que usted proporciona a las aplicaciones de Amazon EMR Spark. Para obtener más información, consulte Uso del escalado automático vertical con trabajos de Spark de Amazon EMR.
En esta sección, se describe cómo configurar el operador de Spark para usar el escalado automático vertical.
Requisitos previos
Antes de seguir, asegúrese de completar la siguiente configuración:
-
Realice los pasos que se indican en Configuración del operador Spark para Amazon EMR en EKS.
-
(Opcional) Si anteriormente instaló una versión anterior del operador Spark, elimine la tecla SparkApplication/ScheduledSparkApplication CRD.
kubectl delete crd sparkApplication kubectl delete crd scheduledSparkApplication
-
Realice los pasos que se indican en Instalar el operador de Spark. En el paso 3, agregue la siguiente línea al comando de instalación para admitir webhooks para el operador:
--set webhook.enable=true
-
Realice los pasos que se indican en Configuración del escalado automático vertical de Amazon EMR en EKS.
-
Conceda acceso a los archivos de su ubicación de Amazon S3:
-
Anota tu cuenta de servicio de conductor y operador con la
JobExecutionRole
que tenga permisos de S3.kubectl annotate serviceaccount -n spark-operator emr-containers-sa-spark eks.amazonaws.com/role-arn=
JobExecutionRole
kubectl annotate serviceaccount -n spark-operator emr-containers-sa-spark-operator eks.amazonaws.com/role-arn=JobExecutionRole
-
Actualice la política de confianza de su función de ejecución de tareas en ese espacio de nombres.
aws emr-containers update-role-trust-policy \ --cluster-name cluster \ --namespace ${Namespace}\ --role-name iam_role_name_for_job_execution
-
Edite la política de confianza de IAM roles de su rol de ejecución de tareas y actualice
serviceaccount
de aemr-containers-sa-spark-*-*-xxxx
.emr-containers-sa-*
{ "Effect": "Allow", "Principal": { "Federated": "
OIDC-provider
" }, "Action": "sts:AssumeRoleWithWebIdentity", "Condition": { "StringLike": { "OIDC
": "system:serviceaccount:${Namespace}:emr-containers-sa-*" } } } -
Si utiliza Amazon S3 como almacenamiento de archivos, añada los siguientes valores predeterminados a su archivo yaml.
hadoopConf: # EMRFS filesystem fs.s3.customAWSCredentialsProvider: com.amazonaws.auth.WebIdentityTokenCredentialsProvider fs.s3.impl: com.amazon.ws.emr.hadoop.fs.EmrFileSystem fs.AbstractFileSystem.s3.impl: org.apache.hadoop.fs.s3.EMRFSDelegate fs.s3.buffer.dir: /mnt/s3 fs.s3.getObject.initialSocketTimeoutMilliseconds: "2000" mapreduce.fileoutputcommitter.algorithm.version.emr_internal_use_only.EmrFileSystem: "2" mapreduce.fileoutputcommitter.cleanup-failures.ignored.emr_internal_use_only.EmrFileSystem: "true" sparkConf: # Required for EMR Runtime spark.driver.extraClassPath: /usr/lib/hadoop-lzo/lib/*:/usr/lib/hadoop/hadoop-aws.jar:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:/usr/share/aws/emr/security/conf:/usr/share/aws/emr/security/lib/*:/usr/share/aws/hmclient/lib/aws-glue-datacatalog-spark-client.jar:/usr/share/java/Hive-JSON-Serde/hive-openx-serde.jar:/usr/share/aws/sagemaker-spark-sdk/lib/sagemaker-spark-sdk.jar:/home/hadoop/extrajars/* spark.driver.extraLibraryPath: /usr/lib/hadoop/lib/native:/usr/lib/hadoop-lzo/lib/native:/docker/usr/lib/hadoop/lib/native:/docker/usr/lib/hadoop-lzo/lib/native spark.executor.extraClassPath: /usr/lib/hadoop-lzo/lib/*:/usr/lib/hadoop/hadoop-aws.jar:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:/usr/share/aws/emr/security/conf:/usr/share/aws/emr/security/lib/*:/usr/share/aws/hmclient/lib/aws-glue-datacatalog-spark-client.jar:/usr/share/java/Hive-JSON-Serde/hive-openx-serde.jar:/usr/share/aws/sagemaker-spark-sdk/lib/sagemaker-spark-sdk.jar:/home/hadoop/extrajars/* spark.executor.extraLibraryPath: /usr/lib/hadoop/lib/native:/usr/lib/hadoop-lzo/lib/native:/docker/usr/lib/hadoop/lib/native:/docker/usr/lib/hadoop-lzo/lib/native
-
Ejecutar un trabajo con escalado automático vertical en el operador de Spark
Para poder ejecutar una aplicación de Spark con el operador de Spark, complete los pasos indicados en Requisitos previos.
Para usar el escalado automático vertical con el operador Spark, añada la siguiente configuración al controlador según las especificaciones de su aplicación Spark para activar el escalado automático vertical:
dynamicSizing: mode: Off signature: "my-signature"
Esta configuración permite el escalado automático vertical y es una configuración de firma obligatoria que te permite elegir una firma para tu trabajo.
Para obtener más información sobre las configuraciones y los valores de los parámetros, consulte Configuración del escalado automático vertical para Amazon EMR on EKS. De forma predeterminada, su trabajo se envía en el modo Desactivado de escalado automático vertical solo de supervisión. Este estado de supervisión le permite calcular y ver las recomendaciones de recursos sin llevar a cabo el escalado automático. Para obtener más información, consulte Modos de escalado automático vertical.
El siguiente es un ejemplo de archivo de SparkApplication
definición spark-pi.yaml
con las configuraciones necesarias para usar el escalado automático vertical.
apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication metadata: name: spark-pi namespace: spark-operator spec: type: Scala mode: cluster image: "895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-7.2.0:latest" imagePullPolicy: Always mainClass: org.apache.spark.examples.SparkPi mainApplicationFile: "local:///usr/lib/spark/examples/jars/spark-examples.jar" sparkVersion: "3.4.1" dynamicSizing: mode: Off signature: "my-signature" restartPolicy: type: Never volumes: - name: "test-volume" hostPath: path: "/tmp" type: Directory driver: cores: 1 coreLimit: "1200m" memory: "512m" labels: version: 3.4.1 serviceAccount: emr-containers-sa-spark volumeMounts: - name: "test-volume" mountPath: "/tmp" executor: cores: 1 instances: 1 memory: "512m" labels: version: 3.4.1 volumeMounts: - name: "test-volume" mountPath: "/tmp"
Luego, implemente la aplicación de Spark con el siguiente comando. Esto también creará un objeto SparkApplication
denominado spark-pi
:
kubectl apply -f spark-pi.yaml
Para obtener más información sobre cómo enviar solicitudes a Spark a través del operador de Spark, consulta Cómo usar un SparkApplication
spark-on-k8s-operator
documentación de. GitHub
Verificación de la funcionalidad de escalado automático vertical
Para comprobar que el escalado automático vertical funcione correctamente en el trabajo enviado, use kubectl para obtener el recurso personalizado verticalpodautoscaler
y ver sus recomendaciones de escalado.
kubectl get verticalpodautoscalers --all-namespaces \ -l=emr-containers.amazonaws.com/dynamic.sizing.signature=
my-signature
El resultado de esta consulta debe parecerse al siguiente:
NAMESPACE NAME MODE CPU MEM PROVIDED AGE
spark-operator ds-p73j6mkosvc4xeb3gr7x4xol2bfcw5evqimzqojrlysvj3giozuq-vpa Off 580026651 True 15m
Si el resultado no es similar o contiene un código de error, consulte Solución de problemas en el escalado automático vertical de Amazon EMR en EKS para ver los pasos que le ayudarán a resolver el problema.
Para eliminar los pods y las aplicaciones, ejecuta el siguiente comando:
kubectl delete sparkapplication spark-pi