Chamar o Amazon EMR Serverless com o Step Functions

Step Functions pode controlar determinados AWS serviços diretamente do Amazon States Language (ASL). Para saber mais, consulte Como trabalhar com outros serviços e Transmitir parâmetros para uma API de serviço.

Como a integração otimizada do EMR Serverless é diferente da integração do AWS SDK do EMR Serverless

• A integração otimizada de serviços EMR Serverless tem um conjunto personalizado de APIs que agrupam as APIs EMR Serverless subjacentes. Por causa dessa personalização, a EMR Serverless integração otimizada difere significativamente da integração do serviço EMR Serverless AWS SDK. Além disso, a integração otimizada do EMR Serverless é compatível com o padrão de integração do Executar um trabalho (.sync).

• O padrão de integração Aguardar um retorno de chamada com um token de tarefa não é compatível.

APIs de integração de serviço do EMR Serverless

Para integrar o AWS Step Functions ao EMR Serverless, use as seis APIs de integração de serviço do EMR Serverless apresentadas a seguir. As APIs de integração de serviço são semelhantes às APIs correspondentes do EMR Serverless, com algumas diferenças nos campos que são passados e nas respostas retornadas.

A tabela a seguir descreve as diferenças entre cada API de integração de serviço e a API do EMR Serverless correspondente.

APIs de integração de serviço do EMR Serverless e APIs correspondentes do EMR Serverless
API de integração de serviço do EMR Serverless	API do EMR Serverless correspondente	Diferenças
createApplication Cria um aplicativo. O EMR Serverless está vinculado a um tipo exclusivo de função do IAM conhecida como função vinculada ao serviço. Para que createApplication e createApplication.sync funcionem, você deve ter configurado as permissões necessárias para criar a função vinculada ao serviço AWS ServiceRoleForAmazonEMRServerless. Para obter mais informações sobre isso, incluindo uma instrução de que você pode adicionar à política de permissões do IAM, consulte Usar funções vinculadas ao serviço para o EMR Serverless.	CreateApplication	Nenhum
createApplication.sync Cria um aplicativo.	CreateApplication	Não há diferenças entre as solicitações e as respostas da API do EMR Serverless e da API de integração de serviços do EMR Serverless. No entanto, createApplication.sync espera que o aplicativo alcance o estado de CREATED.
startApplication Inicia um aplicativo especificado e inicializa a capacidade inicial do aplicativo, se configurado.	StartApplication	A resposta da API do EMR Serverless não contém nenhum dado, mas a resposta da API de integração de serviços do EMR Serverless inclui os seguintes dados. { "ApplicationId": "string" }
startApplication.sync Inicia um aplicativo especificado e inicializa a capacidade inicial do aplicativo, se configurado.	StartApplication	A resposta da API do EMR Serverless não contém nenhum dado, mas a resposta da API de integração de serviços do EMR Serverless inclui os seguintes dados. { "ApplicationId": "string" } Além disso, startApplication.sync espera que o aplicativo alcance o estado de STARTED.
stopApplication Interrompe um aplicativo especificado e libera a capacidade inicial, se configurada. Todas as tarefas programadas e em execução devem ser concluídas ou canceladas antes de interromper um aplicativo.	StopApplication	A resposta da API do EMR Serverless não contém nenhum dado, mas a resposta da API de integração de serviços do EMR Serverless inclui os seguintes dados. { "ApplicationId": "string" }
stopApplication.sync Interrompe um aplicativo especificado e libera a capacidade inicial, se configurada. Todas as tarefas programadas e em execução devem ser concluídas ou canceladas antes de interromper um aplicativo.	StopApplication	A resposta da API do EMR Serverless não contém nenhum dado, mas a resposta da API de integração de serviços do EMR Serverless inclui os seguintes dados. { "ApplicationId": "string" } Além disso, stopApplication.sync espera que o aplicativo alcance o estado de STOPPED.
deleteApplication Exclui um aplicativo. Um aplicativo deve estar no estado STOPPED ou CREATED para ser excluído.	DeleteApplication	A resposta da API do EMR Serverless não contém nenhum dado, mas a resposta da API de integração de serviços do EMR Serverless inclui os seguintes dados. { "ApplicationId": "string" }
deleteApplication.sync Exclui um aplicativo. Um aplicativo deve estar no estado STOPPED ou CREATED para ser excluído.	DeleteApplication	A resposta da API do EMR Serverless não contém nenhum dado, mas a resposta da API de integração de serviços do EMR Serverless inclui os seguintes dados. { "ApplicationId": "string" } Além disso, stopApplication.sync espera que o aplicativo alcance o estado de TERMINATED.
startJobRun Inicia uma execução de tarefa.	StartJobRun	Nenhum
startJobRun.sync Inicia uma execução de tarefa.	StartJobRun	Não há diferenças entre as solicitações e as respostas da API do EMR Serverless e da API de integração de serviços do EMR Serverless. No entanto, startJobRun.sync espera que o aplicativo alcance o SUCCESS estado.
cancelJobRun Cancela uma execução de tarefa.	CancelJobRun	Nenhum
cancelJobRun.sync Cancela uma execução de tarefa.	CancelJobRun	Não há diferenças entre as solicitações e as respostas da API do EMR Serverless e da API de integração de serviços do EMR Serverless. No entanto, cancelJobRun.sync espera que o aplicativo alcance o CANCELLED estado.

Casos de uso da integração do EMR sem servidor

Para a integração otimizada de serviços do EMR Serverless, recomendamos que você crie um único aplicativo e, em seguida, use esse aplicativo para executar várias tarefas. Por exemplo, em uma única máquina de estado, você pode incluir várias startJobRunsolicitações, todas usando o mesmo aplicativo. Os exemplos de estado de Estado da tarefa a seguir mostram casos de uso para integrar as APIs do EMR Serverless com o Step Functions. Para obter informações sobre outros casos de uso do EMR Serverless, consulte O que é o Amazon EMR Serverless.

dica

Para implantar um exemplo de uma máquina de estado que se integra EMR Serverless para executar várias tarefas em sua Conta da AWS, consulteExecutar uma tarefa do EMR Serverless.

• Cria uma aplicação

• Inicia o aplicativo

• Interrompe o aplicativo

• Deleta o aplicativo

• Inicia uma tarefa em um aplicativo

• Cancela uma tarefa em um aplicativo

Para obter informações sobre como configurar IAM permissões ao usar Step Functions com outros AWS serviços, consultePolíticas do IAM para serviços integrados.

Nos exemplos mostrados nos casos de uso a seguir, substitua o texto em itálico pelas informações específicas do seu recurso. Por exemplo, yourApplicationIdsubstitua pelo ID do seu EMR Serverless aplicativo, como00yv7iv71inak893.

Cria uma aplicação

O exemplo de estado da Tarefa a seguir cria um aplicativo usando a API de integração do serviço createApplication.sync.

"Create_Application": {
    "Type": "Task",
    "Resource": "arn:aws:states:::emr-serverless:createApplication.sync",
    "Parameters": {
        "Name": "MyApplication",
        "ReleaseLabel": "emr-6.9.0",
        "Type": "SPARK"
    },
    "End": true
}

Inicia o aplicativo

O exemplo de estado da Tarefa a seguir inicia um aplicativo usando a API de integração do serviço startApplication.sync.

"Start_Application": {
    "Type": "Task",
    "Resource": "arn:aws:states:::emr-serverless:startApplication.sync",
    "Parameters": {
        "ApplicationId": "yourApplicationId"
    },
    "End": true
}

Interrompe o aplicativo

O exemplo de estado da Tarefa a seguir interrompe um aplicativo usando a API de integração do serviço stopApplication.sync.

"Stop_Application": {
    "Type": "Task",
    "Resource": "arn:aws:states:::emr-serverless:stopApplication.sync",
    "Parameters": {
        "ApplicationId": "yourApplicationId"
    },
    "End": true
}

Deleta o aplicativo

O exemplo de estado da Tarefa a seguir deleta um aplicativo usando a API de integração do serviço deleteApplication.sync.

"Delete_Application": {
    "Type": "Task",
    "Resource": "arn:aws:states:::emr-serverless:deleteApplication.sync",
    "Parameters": {
        "ApplicationId": "yourApplicationId"
    },
    "End": true
}

Inicia uma tarefa em um aplicativo

O exemplo de estado de tarefa a seguir inicia um trabalho em um aplicativo usando a API de integração de serviços startJobRun.sync.

"Start_Job": {
    "Type": "Task",
    "Resource": "arn:aws:states:::emr-serverless:startJobRun.sync",
    "Parameters": {
        "ApplicationId": "yourApplicationId",
        "ExecutionRoleArn": "arn:aws:iam::123456789012:role/myEMRServerless-execution-role",
        "JobDriver": {
            "SparkSubmit": {
                "EntryPoint": "s3://<mybucket>/sample.py",
                "EntryPointArguments": ["1"],
                "SparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=4g --conf spark.driver.cores=2 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
            }
        }
    },
    "End": true
}

Cancela uma tarefa em um aplicativo

O exemplo de estado da tarefa a seguir cancela um trabalho em um aplicativo usando a API de integração de serviços cancelJobRun.sync.

"Cancel_Job": {
    "Type": "Task",
    "Resource": "arn:aws:states:::emr-serverless:cancelJobRun.sync",
    "Parameters": {
        "ApplicationId.$": "$.ApplicationId",
        "JobRunId.$": "$.JobRunId"
    },
    "End": true
}