Início AWS Glue DataBrew trabalhos com Step Functions

Saiba como você pode usar a DataBrew integração para adicionar etapas de limpeza e normalização de dados aos seus fluxos de trabalho de análise e aprendizado de máquina com o Step Functions.

Para saber mais sobre a integração com AWS serviços em Step Functions, consulte e. Integração de produtos da Passando parâmetros para um serviço API em Step Functions

O seguinte inclui um Task estado que inicia um trabalho de solicitação-resposta DataBrew.

"DataBrew StartJobRun": {
            "Type": "Task",
            "Resource": "arn:aws:states:::databrew:startJobRun",
            "Parameters": {
               "Name": "sample-proj-job-1"
            },
            "Next": "NEXT_STATE"
          },
        

O seguinte inclui um Task estado que inicia um DataBrew trabalho de sincronização.

"DataBrew StartJobRun": {
           "Type": "Task",
           "Resource": "arn:aws:states:::databrew:startJobRun.sync",
           "Parameters": {
              "Name": "sample-proj-job-1"
           },
           "Next": "NEXT_STATE"
          },
        

Parâmetros em Step Functions são expressos em PascalCase

Mesmo se o serviço nativo API estiver ativadocamelCase, por exemplo, a API açãostartSyncExecution, você especifica parâmetros em PascalCase, como:StateMachineArn.

Suportado DataBrew APIs

• StartJobRun

IAMpolíticas para chamadas DataBrew

Os modelos de exemplo a seguir mostram como AWS Step Functions gera IAM políticas com base nos recursos em sua definição de máquina de estado. Para ter mais informações, consulte Como o Step Functions gera IAM políticas para serviços integrados e Descubra padrões de integração de serviços em Step Functions.

Run a Job (.sync)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "databrew:startJobRun",
                "databrew:listJobRuns",
                "databrew:stopJobRun"
            ],
            "Resource": [
                "arn:aws:databrew:{{region}}:{{accountId}}:job/*"
            ]
        }
    ]
}

Request Response

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "databrew:startJobRun"
            ],
            "Resource": [
                "arn:aws:databrew:{{region}}:{{accountId}}:job/*"
            ]
        }
    ]
}