As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Migração de cargas de trabalho do Step Functions AWS Data Pipeline para o Step Functions
AWS lançou o AWS Data Pipeline serviço em 2012. Naquela época, os clientes procuravam um serviço que os permitisse mover dados entre diferentes fontes de dados usando uma variedade de opções de computação. À medida que as necessidades de transferência de dados mudaram com o tempo, as soluções para essas necessidades também mudaram. Agora você tem a opção de escolher a solução que melhor atenda às suas necessidades comerciais. Por exemplo, você pode fazer o seguinte:
-
Use Step Functions para orquestrar fluxos de trabalho entre vários Serviços da AWS.
-
Use o Amazon Managed Workflows for Apache Airflow (Amazon MWAA) para gerenciar a orquestração do fluxo de trabalho do Apache Airflow.
-
Use AWS Glue para executar e orquestrar aplicativos Apache Spark.
Você pode migrar casos de uso típicos AWS Data Pipeline para Step Functions ou Amazon MWAA. AWS Glue A opção escolhida depende de sua workload atual em AWS Data Pipeline. Este tópico explica como migrar do Step Functions AWS Data Pipeline para o Step Functions.
Tópicos
Migração de workloads do AWS Data Pipeline
O Step Functions é um serviço de orquestração sem servidor que permite criar fluxos de trabalho para suas aplicações essenciais aos negócios. Com o Workflow Studio do Step Functions, você pode criar fluxos de trabalho e integrá-los com mais de 11.000 ações de API de mais de 250 Serviços da AWS. Isso inclui Serviços da AWS Amazon EMR e Amazon DynamoDB. AWS Lambda Você pode usar o Step Functions para orquestrar pipelines de processamento de dados, lidar com erros e trabalhar com os limites de controle de utilização nos serviços subjacentes dos Serviços da AWS. Você pode criar fluxos de trabalho que processam e publicam modelos de machine learning, orquestram microsserviços e controlam fluxos de trabalho de extração, transformação e carregamento (ETL) com o AWS Glue. Você também pode criar fluxos de trabalho automatizados e de longa duração para aplicativos que exigem interação humana.
O Step Functions é um serviço totalmente gerenciado fornecido pela AWS. Isso significa que a AWS
gerencia tarefas
Quando seu caso de uso corresponder às seguintes condições, recomendamos que você migre do AWS Data Pipeline Step Functions:
-
Você prefere um serviço de orquestração de fluxo de trabalho sem servidor e altamente disponível.
-
Você precisa de uma solução que carregue com a granularidade da execução de uma única tarefa.
-
Suas cargas de trabalho envolvem a orquestração de tarefas para várias outras Serviços da AWS, como Amazon EMR, Lambda ou DynamoDB. AWS Glue
-
Você precisa de uma solução low-code com um designer drag-and-drop visual para criar fluxos de trabalho. Essa solução não deve exigir o aprendizado de conceitos de programação complexos e desconhecidos.
-
Você precisa de um serviço que se integre com mais de 250 Serviços da AWS que cubram mais de 11.000 ações de API. Esse serviço também deve se integrar a serviços e atividades personalizados fora do AWS.
Mapeamento de conceitos entre o Step Functions e o AWS Data Pipeline
AWS Data Pipeline e Step Functions compartilham alguns conceitos comuns. Por exemplo, para definir seus fluxos de trabalho, você usa o formato JSON em ambos AWS Data Pipeline e em Step Functions. No Step Functions, você usa Amazon States Language, que é uma linguagem estruturada baseada em JSON. Você usa a Amazon States Language (ASL) para definir seus fluxos de trabalho e alternar entre as representações textuais e visuais do seu fluxo de trabalho. Esse formato baseado em JSON ajuda a simplificar o armazenamento de seus fluxos de trabalho em uma ferramenta de controle de origem. Também ajuda você a gerenciar várias versões de seus fluxos de trabalho, controlar seu acesso ou automatizar sua orquestração com métodos de CI/CD.
A tabela a seguir descreve o mapeamento entre os principais conceitos usados nos dois serviços. A coluna de conceitos do pipeline de dados à esquerda lista os conceitos em AWS Data Pipeline, enquanto a coluna de conceitos do Step Functions à direita lista os conceitos equivalentes em Step Functions.
| Conceitos do pipeline de dados | Conceitos do Step Functions |
|---|---|
| Pipelines | Fluxos de trabalho |
| Definição de pipeline | Amazon States Language (ASL) |
| Atividades | States e Estado da tarefa |
| Instâncias | Execuções |
| Attempts | Catchers e retriers |
| Cronograma do pipeline | |
| Expressões e funções de pipeline |
Projetos de exemplo do Step Functions
Para obter uma introdução ao Step Functions, consulte o vídeo a seguir:
A lista a seguir contém alguns projetos de exemplos de implementações para os casos de uso mais comuns do AWS Data Pipeline com o Step Functions. Você pode usar esses projetos de amostra como referência para AWS Data Pipeline migrar do Step Functions. Você também pode usá-los como um padrão para criar seus próprios fluxos de trabalho e integrá-los aos Serviços da AWS compatíveiscom base em seu caso de uso.
Para saber mais sobre o Step Functions, consulte os seguintes tópicos e recursos:
Comparação de preços
AWS Data Pipeline é precificado pelo número de tubulações e seu nível de uso. As atividades realizadas mais de uma vez por dia (alta frequência) custam $1 por mês por atividade. As atividades realizadas uma vez por dia ou menos (baixa frequência) custam $0,60 por mês por atividade. Os Pipelines Inativos custam $1 por pipeline. Para obter mais informações sobre a definição de preço, consulte a página de Definição de preço do AWS Data Pipeline
O Step Functions tem dois tipos de fluxos de trabalho: padrão e expressos. Cada tipo de fluxo de trabalho tem um modelo de definição de preços diferente. Essa comparação é baseada no fluxo de trabalho padrão, pois é a que melhor corresponde aos casos de uso comuns de AWS Data Pipeline. Os fluxos de trabalho padrão custam US$ 0,025 por 1.000 transições de estado. Não há custo para máquinas de estado inativas. Você paga somente pelo que usar. Para obter mais informações sobre a definição de preço, consulte a página de Definição de preço do AWS Step Functions
