Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Gestisci un lavoro in Amazon EMR
Questo progetto di esempio illustra Amazon EMR AWS Step Functions e l'integrazione.
Mostra come creare un cluster Amazon EMR, aggiungere più passaggi ed eseguirli, quindi terminare il cluster.
Importante
Amazon EMR non prevede un livello di prezzo gratuito. L'esecuzione del progetto di esempio comporta costi. Puoi trovare informazioni sui prezzi nella pagina dei prezzi di Amazon EMR.
Fase 1: creazione della State Machine e fornitura di risorse
Apri la console Step Functions
e scegli Crea macchina a stati. -
Digita
Manage an EMR job
nella casella di ricerca, quindi scegli Gestisci un lavoro EMR dai risultati di ricerca restituiti. -
Seleziona Successivo per continuare.
-
Step Functions elenca quelli AWS servizi utilizzati nel progetto di esempio selezionato. Mostra anche un grafico del flusso di lavoro per il progetto di esempio. Implementa questo progetto sul tuo Account AWS o usalo come punto di partenza per creare i tuoi progetti. In base a come vuoi procedere, scegli Esegui una demo o Sviluppa su di essa.
Questo progetto di esempio utilizza le seguenti risorse:
-
Un bucket Amazon S3
-
Un cluster Amazon EMR
-
Una macchina a AWS Step Functions stati
-
Ruoli correlati AWS Identity and Access Management (IAM)
L'immagine seguente mostra il grafico del flusso di lavoro per il progetto di esempio Manage an EMR Job:
-
-
Scegli Usa modello per continuare con la selezione.
-
Esegui una di queste operazioni:
-
Se hai selezionato Build on it, Step Functions crea il prototipo del flusso di lavoro per il progetto di esempio selezionato. Step Functions non distribuisce le risorse elencate nella definizione del flusso di lavoro.
In Workflow StudioModalità di progettazione, trascina gli stati da e continua Stati del browser a creare il tuo prototipo di flusso di lavoro. Oppure passa a Modalità codice quello che fornisce un editor di codice integrato simile a VS Code per aggiornare la definizione Amazon States Language (ASL) della tua macchina a stati all'interno della console Step Functions. Per ulteriori informazioni sull'utilizzo di Workflow Studio per creare macchine a stati, consultaUtilizzo di Workflow Studio.
-
Se hai selezionato Esegui una demo, Step Functions crea un progetto di esempio di sola lettura che utilizza un AWS CloudFormation modello per distribuire le AWS risorse elencate in quel modello sul tuo. Account AWS
Suggerimento
Per visualizzare la definizione della macchina a stati del progetto di esempio, scegli Code.
Quando sei pronto, scegli Distribuisci ed esegui per distribuire il progetto di esempio e creare le risorse.
La creazione di queste risorse e delle relative autorizzazioni IAM può richiedere fino a 10 minuti. Mentre le risorse vengono distribuite, puoi aprire il link CloudFormation Stack ID per vedere quali risorse vengono fornite.
Dopo aver creato tutte le risorse del progetto di esempio, puoi vedere il nuovo progetto di esempio elencato nella pagina State machines.
Importante
Potrebbero essere applicate tariffe standard per ogni servizio utilizzato nel CloudFormation modello.
-
Fase 2: Eseguire la macchina a stati
-
Nella pagina Macchine a stati, scegli il tuo progetto di esempio.
-
Nella pagina del progetto di esempio, scegli Avvia esecuzione.
-
Nella finestra di dialogo Avvia esecuzione, effettuate le seguenti operazioni:
-
(Facoltativo) Per identificare l'esecuzione, potete specificarne un nome nella casella Nome. Per impostazione predefinita, Step Functions genera automaticamente un nome di esecuzione univoco.
Nota
Step Functions consente di creare nomi per macchine a stati, esecuzioni e attività ed etichette che contengono caratteri non ASCII. Questi nomi non ASCII non funzionano con Amazon. CloudWatch Per assicurarti di poter tenere traccia delle CloudWatch metriche, scegli un nome che utilizzi solo caratteri ASCII.
-
(Facoltativo) Nella casella Input, inserisci i valori di input in formato JSON per eseguire il flusso di lavoro.
Se avete scelto di eseguire una demo, non è necessario fornire alcun input di esecuzione.
Nota
Se il progetto demo che hai distribuito contiene dati di input di esecuzione precompilati, usa quell'input per eseguire la macchina a stati.
-
Selezionare Start execution (Avvia esecuzione).
-
La console Step Functions ti indirizza a una pagina intitolata con il tuo ID di esecuzione. Questa pagina è nota come pagina dei dettagli di esecuzione. In questa pagina è possibile esaminare i risultati dell'esecuzione man mano che l'esecuzione procede o dopo il suo completamento.
Per esaminare i risultati dell'esecuzione, scegliete i singoli stati nella vista Grafico, quindi scegliete le singole schede Dettagli del passaggio nel riquadro per visualizzare i dettagli di ogni stato, inclusi rispettivamente input, output e definizione. Per i dettagli sulle informazioni sull'esecuzione che è possibile visualizzare nella pagina Dettagli di esecuzione, vederePagina dei dettagli di esecuzione: panoramica dell'interfaccia.
-
Esempio di codice della macchina a stati
La macchina a stati di questo progetto di esempio si integra con Amazon EMR passando i parametri direttamente a tali risorse. Sfoglia questo esempio di macchina a stati per vedere come Step Functions utilizza una macchina a stati per chiamare l'attività Amazon EMR in modo sincrono, attende che l'operazione abbia successo o meno e termina il cluster.
Per ulteriori informazioni su come AWS Step Functions controllare altri AWS servizi, consulta. Utilizzo AWS Step Functions con altri servizi
{
"Comment": "An example of the Amazon States Language for running jobs on Amazon EMR",
"StartAt": "Create an EMR cluster",
"States": {
"Create an EMR cluster": {
"Type": "Task",
"Resource": "arn:<PARTITION>:states:::elasticmapreduce:createCluster.sync",
"Parameters": {
"Name": "ExampleCluster",
"VisibleToAllUsers": true,
"ReleaseLabel": "emr-5.26.0",
"Applications": [
{ "Name": "Hive" }
],
"ServiceRole": "<EMR_SERVICE_ROLE>",
"JobFlowRole": "<EMR_EC2_INSTANCE_PROFILE>",
"LogUri": "s3://<EMR_LOG_S3_BUCKET>/logs/",
"Instances": {
"KeepJobFlowAliveWhenNoSteps": true,
"InstanceFleets": [
{
"Name": "MyMasterFleet",
"InstanceFleetType": "MASTER",
"TargetOnDemandCapacity": 1,
"InstanceTypeConfigs": [
{
"InstanceType": "m5.xlarge"
}
]
},
{
"Name": "MyCoreFleet",
"InstanceFleetType": "CORE",
"TargetOnDemandCapacity": 1,
"InstanceTypeConfigs": [
{
"InstanceType": "m5.xlarge"
}
]
}
]
}
},
"ResultPath": "$.cluster",
"Next": "Run first step"
},
"Run first step": {
"Type": "Task",
"Resource": "arn:<PARTITION>:states:::elasticmapreduce:addStep.sync",
"Parameters": {
"ClusterId.$": "$.cluster.ClusterId",
"Step": {
"Name": "My first EMR step",
"ActionOnFailure": "CONTINUE",
"HadoopJarStep": {
"Jar": "command-runner.jar",
"Args": ["<COMMAND_ARGUMENTS>"]
}
}
},
"Retry" : [
{
"ErrorEquals": [ "States.ALL" ],
"IntervalSeconds": 1,
"MaxAttempts": 3,
"BackoffRate": 2.0
}
],
"ResultPath": "$.firstStep",
"Next": "Run second step"
},
"Run second step": {
"Type": "Task",
"Resource": "arn:<PARTITION>:states:::elasticmapreduce:addStep.sync",
"Parameters": {
"ClusterId.$": "$.cluster.ClusterId",
"Step": {
"Name": "My second EMR step",
"ActionOnFailure": "CONTINUE",
"HadoopJarStep": {
"Jar": "command-runner.jar",
"Args": ["<COMMAND_ARGUMENTS>"]
}
}
},
"Retry" : [
{
"ErrorEquals": [ "States.ALL" ],
"IntervalSeconds": 1,
"MaxAttempts": 3,
"BackoffRate": 2.0
}
],
"ResultPath": "$.secondStep",
"Next": "Terminate Cluster"
},
"Terminate Cluster": {
"Type": "Task",
"Resource": "arn:<PARTITION>:states:::elasticmapreduce:terminateCluster",
"Parameters": {
"ClusterId.$": "$.cluster.ClusterId"
},
"End": true
}
}
}
Esempio IAM
Questo esempio di policy AWS Identity and Access Management (IAM) generato dal progetto di esempio include il minimo privilegio necessario per eseguire la macchina a stati e le risorse correlate. È consigliabile includere solo le autorizzazioni necessarie nelle policy IAM.
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:RunJobFlow",
"elasticmapreduce:DescribeCluster",
"elasticmapreduce:TerminateJobFlows"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": [
"arn:aws:iam::123456789012:role/StepFunctionsSample-EMRJobManagement-EMRServiceRole-ANPAJ2UCCR6DPCEXAMPLE",
"arn:aws:iam::123456789012:role/StepFunctionsSample-EMRJobManagementWJALRXUTNFEMI-ANPAJ2UCCR6DPCEXAMPLE-EMREc2InstanceProfile-1ANPAJ2UCCR6DPCEXAMPLE"
]
},
{
"Effect": "Allow",
"Action": [
"events:PutTargets",
"events:PutRule",
"events:DescribeRule"
],
"Resource": [
"arn:aws:events:sa-east-1:123456789012:rule/StepFunctionsGetEventForEMRRunJobFlowRule"
]
}
]
}
La policy seguente garantisce che addStep
disponga di autorizzazioni sufficienti.
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:AddJobFlowSteps",
"elasticmapreduce:DescribeStep",
"elasticmapreduce:CancelSteps"
],
"Resource": "arn:aws:elasticmapreduce:*:*:cluster/*"
},
{
"Effect": "Allow",
"Action": [
"events:PutTargets",
"events:PutRule",
"events:DescribeRule"
],
"Resource": [
"arn:aws:events:sa-east-1:123456789012:rule/StepFunctionsGetEventForEMRAddJobFlowStepsRule"
]
}
]
}
}
Per informazioni su come configurare IAM quando si utilizza Step Functions con altri AWS servizi, vederePolitiche IAM per servizi integrati.