Llame a Amazon EMR en EKS con AWS Step Functions

Step Functions puede controlar ciertos AWS servicios directamente desde Lenguaje de estados de Amazon (ASL). Para obtener más información, consulte Trabajo con otros servicios y Cómo pasar parámetros a una API de servicio.

En qué se diferencia la integración optimizada de Amazon EMR en EKS de la integración de Amazon EMR en el SDK de EKS AWS

• Se admite el patrón de integración Ejecutar un trabajo (.sync).

• No hay optimizaciones para el patrón de integración Respuesta de la solicitud.

• No se admite el patrón de integración Cómo esperar una devolución de llamada con el token de tarea.

nota

Para su integración con Amazon EMR, Step Functions tiene una frecuencia de sondeo de trabajo codificada de 60 segundos durante los primeros 10 minutos y de 300 segundos después.

Para realizar la integración AWS Step Functions con Amazon EMR en EKS, utilice las API de integración de servicios de Amazon EMR en EKS. Las API de integración de servicios son las mismas que las correspondientes API de Amazon EMR en EKS, pero no todas las API admiten todos los patrones de integración, como se muestra en la siguiente tabla.

API	Respuesta de la solicitud	Ejecutar un trabajo (.sync)
CreateVirtualCluster	✓
DeleteVirtualCluster	✓	✓
StartJobRun	✓	✓

API de Amazon EMR en EKS compatibles:

nota

Hay una cuota para el tamaño máximo de los datos de entrada o resultado para una tarea en Step Functions. Esto limita a 256 KB de datos como cadena codificada en UTF-8 al enviar o recibir datos de otro servicio. Consulte Cuotas relacionadas con ejecuciones de máquinas de estado.

• CreateVirtualCluster

  • Sintaxis de la solicitud

  • Parámetros admitidos

  • Sintaxis de la respuesta

• DeleteVirtualCluster

  • Sintaxis de la solicitud

  • Parámetros admitidos

  • Sintaxis de la respuesta

• StartJobRun

  • Sintaxis de la solicitud

  • Parámetros admitidos

  • Sintaxis de la respuesta

El ejemplo siguiente incluye un estado Task que crea un clúster virtual.

"Create_Virtual_Cluster": {
  "Type": "Task",
  "Resource": "arn:aws:states:::emr-containers:createVirtualCluster",
  "Parameters": {
    "Name": "MyVirtualCluster",
    "ContainerProvider": {
      "Id": "EKSClusterName",
      "Type": "EKS",
      "Info": {
        "EksInfo": {
          "Namespace": "Namespace"
        }
      }
    }
  },
  "End": true
}

El ejemplo siguiente incluye un estado Task que envía un trabajo a un clúster virtual y espera a que finalice.

"Submit_Job": {
    "Type": "Task",
    "Resource": "arn:aws:states:::emr-containers:startJobRun.sync",
    "Parameters": {
      "Name": "MyJobName",
      "VirtualClusterId.$": "$.VirtualClusterId",
      "ExecutionRoleArn": "arn:aws:iam::<accountId>:role/job-execution-role",
      "ReleaseLabel": "emr-6.2.0-latest",
      "JobDriver": {
        "SparkSubmitJobDriver": {
          "EntryPoint": "s3://<mybucket>/jobs/trip-count.py",
          "EntryPointArguments": [
            "60"
          ],
          "SparkSubmitParameters": "--conf spark.driver.cores=2 --conf spark.executor.instances=10 --conf spark.kubernetes.pyspark.pythonVersion=3 --conf spark.executor.memory=10G --conf spark.driver.memory=10G --conf spark.executor.cores=1 --conf spark.dynamicAllocation.enabled=false"
        }
      },
      "ConfigurationOverrides": {
        "ApplicationConfiguration": [
          {
            "Classification": "spark-defaults",
            "Properties": {
              "spark.executor.instances": "2",
              "spark.executor.memory": "2G"
            }
          }
        ],
        "MonitoringConfiguration": {
          "PersistentAppUI": "ENABLED",
          "CloudWatchMonitoringConfiguration": {
            "LogGroupName": "MyLogGroupName",
            "LogStreamNamePrefix": "MyLogStreamNamePrefix"
          },
          "S3MonitoringConfiguration": {
            "LogUri": "s3://<mylogsbucket>"
          }
        }
      },
      "Tags": {
        "taskType": "jobName"
      }
    },
    "End": true
}

El ejemplo siguiente incluye un estado Task que elimina un clúster virtual y espera a que finalice.

"Delete_Virtual_Cluster": {
  "Type": "Task",
  "Resource": "arn:aws:states:::emr-containers:deleteVirtualCluster.sync",
  "Parameters": {
    "Id.$": "$.VirtualClusterId"
  },
  "End": true
}

Para obtener información sobre cómo configurar IAM los permisos cuando se utilizan Step Functions con otros AWS servicios, consulte. Políticas de IAM para servicios integrados