Processamento de dados

Conforme o volume de dados cresce, vindo de fontes cada vez mais diversas, as organizações descobrem que precisam agir com celeridade para processar esses dados a fim de garantir que tomem decisões de negócios mais rápidas e bem informadas. Para processar dados em grande escala, as organizações precisam provisionar recursos de forma elástica para gerenciar as informações que recebem de dispositivos móveis, aplicativos, satélites, marketing e vendas, armazenamentos de dados operacionais, infraestrutura e muito mais.

O Step Functions oferece a escalabilidade, a confiabilidade e a disponibilidade necessárias para gerenciar com sucesso os fluxos de trabalho de processamento de dados. Você pode gerenciar milhões de execuções simultâneas com o Step Functions, pois ele escala horizontalmente e oferece fluxos de trabalho tolerantes a falhas. Processe dados com mais rapidez usando execuções paralelas, como o tipo de estado Paralelo do Step Functions ou paralelismo dinâmico usando o tipo de estado Mapa. Como parte do fluxo de trabalho, você pode usar o estado Mapa para iterar sobre objetos em um armazenamento de dados estático, como um bucket do Amazon S3. O Step Functions também permite que você repita com facilidade execuções com falha ou escolha uma maneira específica de lidar com erros sem a necessidade de gerenciar um processo complexo.

Dependendo das necessidades de processamento de dados, o Step Functions se integra diretamente a outros serviços de processamento de dados oferecidos pela AWS como o AWS Batch, para processamento em lote, o Amazon EMR, para processamento de big data, o AWS Glue, para preparação de dados, o Athena, para análise de dados e o AWS Lambda, para computação.

Exemplos dos tipos de fluxos de trabalho de processamento de dados que os clientes usam o Step Functions para realizar incluem:

Processamento de arquivos, vídeos e imagens

• Pegue uma coleção de arquivos de vídeo faça a conversão para outros tamanhos ou resoluções ideais para o dispositivo em que serão exibidos, como telefones celulares, notebooks ou televisão.

• Pegue uma grande coleção de fotos enviadas pelos usuários e faça a conversão para miniaturas ou imagens de várias resoluções que podem ser exibidas nos sites dos usuários.

• Pegue dados semiestruturados, por exemplo, um arquivo CSV e faça uma combinação com dados não estruturados, como uma fatura, para produzir um relatório de negócios que é enviado mensalmente às partes interessadas da empresa.

• Pegue os dados de observação da Terra coletados de satélites, faça a conversão para formatos que se alinhem e, em seguida, adicione outras fontes de dados coletadas na Terra para obter informações adicionais.

• Pegue os registros de transporte de vários modos de transporte de produtos e procure otimizações usando simulações de Monte Carlo e, em seguida, envie relatórios para as organizações e pessoas que confiam em você para enviar os produtos.

Coordene os trabalhos de extração, transformação e carregamento (ETL):

• Combine registros de oportunidades de vendas com conjuntos de dados de métricas de marketing por meio de uma série de etapas de preparação de dados usando o AWS Glue e produza relatórios de inteligência de negócios que podem ser usados em toda a organização.

• Crie, inicie e encerre um cluster do Amazon EMR para processamento de big data.

Processamento em lote e workload computação de alta performance (HPC):

• Crie um pipeline de análise secundária e genômica que processe sequências brutas do genoma inteiro em chamadas de variantes. Alinhe arquivos brutos a uma sequência de referência e chame variantes em uma lista especificada de cromossomos usando paralelismo dinâmico.

• Encontre eficiências na produção do próximo dispositivo móvel ou outros eletrônicos, simulando vários layouts e usando diferentes compostos elétricos e químicos. Execute o processamento em grandes lotes das cargas de trabalho por meio de várias simulações para obter o design ideal.