Uso de la configuración de monitoreo para monitorear el operador de Spark, Kubernetes y las tareas de Spark

La configuración de monitoreo le permite configurar fácilmente el archivado de registros de su aplicación Spark y los registros del operador en Amazon S3 o en. Amazon CloudWatch Puedes elegir uno o ambos. De este modo, se añade un sidecar de agente de registro a los módulos de accionamiento, controlador y ejecutor de chispas y, posteriormente, se reenvían los registros de estos componentes a los sumideros configurados.

Requisitos previos

Antes de configurar la supervisión, asegúrate de completar las siguientes tareas de configuración:

1. (Opcional) Si anteriormente instalaste una versión anterior del operador Spark, elimina la SparkApplication/ScheduledSparkApplicationCRD.

   kubectl delete crd scheduledsparkapplications.sparkoperator.k8s.io
   kubectl delete crd sparkapplications.sparkoperator.k8s.io

2. Cree un rol de operator/job ejecución en IAM si aún no lo tiene.

3. Ejecute el siguiente comando para actualizar la política de confianza del rol de operator/job ejecución que acaba de crear:

   aws emr-containers update-role-trust-policy \ 
   --cluster-name cluster \
   --namespace namespace \
   --role-name iam_role_name_for_operator/job_execution_role

4. Edite la política de confianza del rol de IAM de su rol de operator/job ejecución de la siguiente manera:

   {
       "Effect": "Allow",
       "Principal": {
           "Federated": "${OIDC-provider}"
       },
       "Action": "sts:AssumeRoleWithWebIdentity",
       "Condition": {
           "StringLike": {
               "OIDC_PROVIDER:sub": "system:serviceaccount:${Namespace}:emr-containers-sa-*"
           }
       }
   }

5. Cree una política de monitorización y configuración en IAM con los siguientes permisos:

   JSON

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "logs:DescribeLogStreams",
           "logs:CreateLogStream",
           "logs:CreateLogGroup",
           "logs:PutLogEvents"
         ],
         "Resource": [
           "arn:aws:logs:*:*:log-group:log_group_name",
           "arn:aws:logs:*:*:log-group:log_group_name:*"
         ],
         "Sid": "AllowLOGSDescribelogstreams"
       },
       {
         "Effect": "Allow",
         "Action": [
           "logs:DescribeLogGroups"
         ],
         "Resource": [
           "*"
         ],
         "Sid": "AllowLOGSDescribeloggroups"
       },
       {
         "Effect": "Allow",
         "Action": [
           "s3:PutObject",
           "s3:GetObject",
           "s3:ListBucket"
         ],
         "Resource": [
           "arn:aws:s3:::bucket_name",
           "arn:aws:s3:::bucket_name/*"
         ],
         "Sid": "AllowS3Putobject"
       }
     ]
   }
   

6. Adjunte la política anterior a su función de ejecución. operator/job