Démarrez AWS Glue DataBrew des jobs avec Step Functions

Découvrez comment utiliser l' DataBrew intégration pour ajouter des étapes de nettoyage et de normalisation des données à vos flux de travail d'analyse et d'apprentissage automatique avec Step Functions.

Pour en savoir plus sur l'intégration aux AWS services dans Step Functions, reportez-vous Intégration des services aux sections etTransmission de paramètres à un service API dans Step Functions.

Ce qui suit inclut un Task état qui démarre une tâche de demande-réponse DataBrew.

"DataBrew StartJobRun": {
            "Type": "Task",
            "Resource": "arn:aws:states:::databrew:startJobRun",
            "Parameters": {
               "Name": "sample-proj-job-1"
            },
            "Next": "NEXT_STATE"
          },
        

Ce qui suit inclut un Task état qui démarre une DataBrew tâche de synchronisation.

"DataBrew StartJobRun": {
           "Type": "Task",
           "Resource": "arn:aws:states:::databrew:startJobRun.sync",
           "Parameters": {
              "Name": "sample-proj-job-1"
           },
           "Next": "NEXT_STATE"
          },
        

Paramètres dans Step Functions sont exprimés en PascalCase

Même si le service natif API est activécamelCase, par exemple l'APIactionstartSyncExecution, vous spécifiez des paramètres dans PascalCase, tels que :StateMachineArn.

Soutenu DataBrew APIs

• StartJobRun

IAMpolitiques relatives aux appels DataBrew

Les exemples de modèles suivants montrent comment AWS Step Functions générer des IAM politiques basées sur les ressources de votre définition de machine à états. Pour plus d’informations, consultez Comment Step Functions génère IAM des politiques pour les services intégrés et Découvrez les modèles d'intégration des services dans Step Functions.

Run a Job (.sync)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "databrew:startJobRun",
                "databrew:listJobRuns",
                "databrew:stopJobRun"
            ],
            "Resource": [
                "arn:aws:databrew:{{region}}:{{accountId}}:job/*"
            ]
        }
    ]
}

Request Response

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "databrew:startJobRun"
            ],
            "Resource": [
                "arn:aws:databrew:{{region}}:{{accountId}}:job/*"
            ]
        }
    ]
}