Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Appelez Amazon EMR avec Step Functions
Step Functions peut contrôler certains AWS services directement depuis Amazon States Language (ASL). Pour en savoir plus, consultez Utilisation avec d'autres services et Transmettre des paramètres à une API de service.
En quoi l'intégration optimisée d'Amazon EMR est différente de l'intégration du SDK Amazon EMR AWS
L'intégration optimisée du service Amazon EMR comprend un ensemble personnalisé d'API qui englobe les API Amazon EMR sous-jacentes, décrites ci-dessous. De ce fait, elle est très différente de l'intégration du service Amazon EMR AWS SDK. De plus, le modèle Exécuter une tâche (.sync) d'intégration est pris en charge.
Pour intégrer AWS Step Functions Amazon EMR, vous utilisez les API d'intégration du service Amazon EMR fournies. Les API d'intégration de services sont similaires aux API Amazon EMR correspondantes, avec quelques différences dans les champs transmis et dans les réponses renvoyées.
Step Functions ne met pas automatiquement fin à un cluster Amazon EMR si l'exécution est arrêtée. Si votre machine d'état s'arrête avant la fin de votre cluster Amazon EMR, celui-ci peut continuer à fonctionner indéfiniment et entraîner des frais supplémentaires. Pour éviter cela, assurez-vous que tout cluster Amazon EMR que vous créez est correctement résilié. Pour plus d’informations, consultez :
-
Contrôlez la résiliation du cluster dans le guide de l'utilisateur Amazon EMR.
-
La Exécuter une tâche (.sync) section Modèles d'intégration des services.
Note
À partir deemr-5.28.0
, vous pouvez spécifier le paramètre StepConcurrencyLevel
lors de la création d'un cluster pour permettre à plusieurs étapes de s'exécuter en parallèle sur un seul cluster. Vous pouvez utiliser les Step Functions Map
et Parallel
les états pour soumettre des travaux en parallèle au cluster.
La disponibilité de l'intégration du service Amazon EMR dépend de la disponibilité des API Amazon EMR. Consultez la documentation Amazon EMR pour connaître les restrictions applicables dans certaines régions.
Note
Pour l'intégration à Amazon EMR, Step Functions dispose d'une fréquence d'interrogation des offres d'emploi codée en dur de 60 secondes pendant les 10 premières minutes, puis de 300 secondes par la suite.
Le tableau suivant décrit les différences entre chaque API d'intégration de services et l'API Amazon EMR correspondante.
API d'intégration du service Amazon EMR et API Amazon EMR correspondantes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
API d'intégration du service Amazon EMR | API EMR correspondante | Différences | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
createCluster Crée et démarre l'exécution d'un cluster (flux de travail). Amazon EMR est directement lié à un type unique de rôle IAM connu sous le nom de rôle lié à un service. Pour que |
runJobFlow | createCluster utilise la même syntaxe de demande que runJobFlow, à l'exception de ce qui suit :
Amazon EMR utilise ceci :
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
createCluster.sync Crée et démarre l'exécution d'un cluster (flux de travail). |
runJobFlow | Le même que createCluster , mais attend que le cluster atteigne l'état WAITING . |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
setClusterTerminationProtection Verrouille un cluster (flux de travail) afin que les instances EC2 du cluster ne puissent pas être arrêtées par l'intervention de l'utilisateur, un appel d'API ou une erreur de flux de travail. |
setTerminationProtection | La demande utilise ceci : Amazon EMR utilise ceci :
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
terminateCluster Arrête un cluster (flux de travail). |
terminateJobFlows | La demande utilise ceci : Amazon EMR utilise ceci :
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
terminateCluster.sync Arrête un cluster (flux de travail). |
terminateJobFlows | Identique à terminateCluster , mais attend que le cluster ait terminé. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
addStep Ajoute une nouvelle étape à un cluster en cours d'exécution. Facultativement, vous pouvez également spécifier le |
La demande utilise la clé"ClusterId" . Amazon EMR utilise. "JobFlowId" La demande utilise une seule étape. Amazon EMR utilise ceci : La réponse est la suivante : Amazon EMR renvoie ce qui suit :
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
addStep.sync Ajoute une nouvelle étape à un cluster en cours d'exécution. Facultativement, vous pouvez également spécifier le |
Identique à addStep , mais attend que l'étape se termine. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
cancelStep Annule une étape en attente dans un cluster en cours d'exécution |
cancelSteps | La demande utilise ceci : Amazon EMR utilise ceci : La réponse est la suivante : Amazon EMR utilise ceci :
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
modifyInstanceFleetByName
Modifie les capacités d'instances à la demande et d'instances ponctuelles cibles pour le parc d'instances avec l' |
modifyInstanceFleet | La demande est la même que pour modifyInstanceFleet , sauf pour ce qui suit :
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
modifyInstanceGroupByName
Modifie le nombre de nœuds et de paramètres de configuration d'un groupe d'instances. |
modifyInstanceGroups | La demande est la suivante : Amazon EMR utilise une liste :
Dans l'objet Un nouveau champ, |
L'exemple suivant inclut un état Task
qui crée un cluster.
"Create_Cluster": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:createCluster.sync",
"Parameters": {
"Name": "MyWorkflowCluster",
"VisibleToAllUsers": true,
"ReleaseLabel": "emr-5.28.0",
"Applications": [
{
"Name": "Hive"
}
],
"ServiceRole": "EMR_DefaultRole",
"JobFlowRole": "EMR_EC2_DefaultRole",
"LogUri": "s3n://aws-logs-123456789012-us-east-1/elasticmapreduce/",
"Instances": {
"KeepJobFlowAliveWhenNoSteps": true,
"InstanceFleets": [
{
"InstanceFleetType": "MASTER",
"Name": "MASTER",
"TargetOnDemandCapacity": 1,
"InstanceTypeConfigs": [
{
"InstanceType": "m4.xlarge"
}
]
},
{
"InstanceFleetType": "CORE",
"Name": "CORE",
"TargetOnDemandCapacity": 1,
"InstanceTypeConfigs": [
{
"InstanceType": "m4.xlarge"
}
]
}
]
}
},
"End": true
}
Ce qui suit inclut un état Task
qui permet la protection contre la résiliation.
"Enable_Termination_Protection": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:setClusterTerminationProtection",
"Parameters": {
"ClusterId.$": "$.ClusterId",
"TerminationProtected": true
},
"End": true
}
Ce qui suit inclut un état Task
qui soumet une étape à un cluster.
"Step_One": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:addStep.sync",
"Parameters": {
"ClusterId.$": "$.ClusterId",
"ExecutionRoleArn": "arn:aws:iam::123456789012
:role/myEMR-execution-role
",
"Step": {
"Name": "The first step",
"ActionOnFailure": "CONTINUE",
"HadoopJarStep": {
"Jar": "command-runner.jar",
"Args": [
"hive-script",
"--run-hive-script",
"--args",
"-f",
"s3://<region>
.elasticmapreduce.samples/cloudfront/code/Hive_CloudFront.q",
"-d",
"INPUT=s3://<region>
.elasticmapreduce.samples",
"-d",
"OUTPUT=s3://<mybucket>
/MyHiveQueryResults/"
]
}
}
},
"End": true
}
Ce qui suit inclut un état Task
qui annule une étape.
"Cancel_Step_One": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:cancelStep",
"Parameters": {
"ClusterId.$": "$.ClusterId",
"StepId.$": "$.AddStepsResult.StepId"
},
"End": true
}
Ce qui suit inclut un état Task
qui met fin à un cluster.
"Terminate_Cluster": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:terminateCluster.sync",
"Parameters": {
"ClusterId.$": "$.ClusterId"
},
"End": true
}
Ce qui suit inclut un état Task
qui met à l'échelle un cluster vers le haut ou vers le bas pour un groupe d'instances.
"ModifyInstanceGroupByName": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:modifyInstanceGroupByName",
"Parameters": {
"ClusterId": "j-1234567890123",
"InstanceGroupName": "MyCoreGroup",
"InstanceGroup": {
"InstanceCount": 8
}
},
"End": true
}
Ce qui suit inclut un état Task
qui met à l'échelle un cluster vers le haut ou vers le bas pour une flotte d'instances.
"ModifyInstanceFleetByName": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:modifyInstanceFleetByName",
"Parameters": {
"ClusterId": "j-1234567890123",
"InstanceFleetName": "MyCoreFleet",
"InstanceFleet": {
"TargetOnDemandCapacity": 8,
"TargetSpotCapacity": 0
}
},
"End": true
}
Pour plus d'informations sur la configuration IAM des autorisations lors de l'utilisation Step Functions avec d'autres AWS services, consultezPolitiques IAM pour les services intégrés.