O AWS Glue Streaming, um componente do AWS Glue, possibilita que você lide com dados de streaming quase em tempo real com eficiência, capacitando-o a realizar tarefas cruciais, como a ingestão de dados, o processamento e o machine learning. Ao usar a estrutura do Apache Spark Streaming, o AWS Glue Streaming fornece um serviço sem servidor que pode lidar com dados de streaming em escala. O AWS Glue disponibiliza diversas otimizações além do Apache Spark, como infraestrutura sem servidor, ajuste de escala automático, desenvolvimento visual de trabalhos, cadernos instantâneos para trabalhos de streaming e outros aprimoramentos de performance.
Casos de uso para o streaming
Alguns casos de uso comuns para o AWS Glue Streaming incluem:
Processamento de dados quase em tempo real: o AWS Glue Streaming permite que as organizações processem dados de streaming quase em tempo real, permitindo-lhes obter insights e tomar decisões oportunas com base nas informações mais recentes.
Detecção de fraudes: é possível utilizar o AWS Glue Streaming para realizar análises em tempo real de dados de streaming, tornando-o valioso para a detecção de atividades fraudulentas, como a fraude de um cartão de crédito, a invasão de rede ou as fraudes on-line. Ao processar e analisar continuamente os dados de entrada, você pode identificar rapidamente padrões ou anomalias suspeitas.
Análise de mídia social: o AWS Glue Streaming pode processar dados de mídia social em tempo real, como tweets, publicações ou comentários, possibilitando que as organizações monitorem tendências, analisem sentimentos e gerenciem a reputação da marca em tempo real.
Análise da Internet das Coisas (IoT): o AWS Glue Streaming é adequado para analisar e lidar com fluxos de dados de alta velocidade gerados por dispositivos de IoT, sensores e máquinas conectadas. Ele permite o monitoramento em tempo real, a detecção de anomalias, a manutenção preditiva e outros casos de uso de análise da IoT.
Análise de fluxo de cliques: o AWS Glue Streaming pode processar e analisar dados de fluxo de cliques em tempo real de sites ou de aplicações móveis. Isso possibilita que as empresas obtenham insights sobre o comportamento do usuário, personalizem as experiências do usuário e otimizem campanhas de marketing com base em dados de fluxo de cliques em tempo real.
Monitoramento e análise de log: o AWS Glue Streaming pode processar e analisar continuamente os dados de log de servidores, aplicações ou dispositivos de rede em tempo real. Isso ajuda a detectar anomalias, solucionar problemas e monitorar a integridade e a performance do sistema.
Sistemas de recomendação: o AWS Glue Streaming pode processar dados de atividades do usuário em tempo real e atualizar os modelos de recomendação de forma dinâmica. Isso permite recomendações personalizadas e em tempo real com base no comportamento e nas preferências do usuário.
Esses são alguns exemplos da diversidade de casos de uso em que o AWS Glue Streaming pode ser aplicado. Sua integração com o ecossistema e os serviços gerenciados da AWS o torna uma escolha conveniente para o processamento e para a análise de fluxo em tempo real na nuvem.
Quais são os benefícios do uso do AWS Glue Streaming?
Os benefícios do uso do AWS Glue Streaming são os seguintes:
Tecnologia sem servidor: o AWS Glue Streaming tem tecnologia sem servidor, o que elimina a necessidade de gerenciamento da infraestrutura. Isso reduz a sobrecarga operacional e permite que os usuários se concentrem nas tarefas de processamento e de análise de dados, em vez de no gerenciamento da infraestrutura.
Ajuste de escala automático: o AWS Glue Streaming fornece recursos de ajuste de escala automático, ajustando dinamicamente a capacidade de processamento com base na workload. Ele aumenta ou reduz a escala horizontalmente de forma automática para lidar com as flutuações no volume de dados, garantindo uma performance e uma utilização de recursos ideais.
Desenvolvimento visual: o desenvolvimento do trabalho de streaming pode ser complexo. O AWS Glue Streaming aborda esse desafio ao disponibilizar o AWS Glue Studio, uma ferramenta de criação visual. O AWS Glue Studio simplifica o processo de criação de fluxos de trabalho de streaming e possibilita que os desenvolvedores projetem e gerenciem aplicações de streaming visualmente, reduzindo a curva de aprendizado e aumentando a produtividade.
Econômico: como um serviço sem servidor, o AWS Glue Streaming oferece uma relação custo-benefício vantajosa ao eliminar a necessidade de provisionamento e manutenção de infraestrutura. Os usuários são cobrados com base nos recursos consumidos durante a execução de trabalhos de streaming, permitindo a otimização de custos e a escalabilidade com base no uso real.
Tratamento de workloads complexas: o AWS Glue Streaming foi projetado para lidar com workloads de streaming complexas. Ele pode processar e analisar grandes volumes de dados em tempo real, oferecer suporte a transformações avançadas e se integrar a outros serviços da AWS, possibilitando pipelines de dados de streaming e fluxos de trabalho de análises sofisticados.
Sem aprisionamento tecnológico: o AWS Glue Streaming oferece flexibilidade e evita o aprisionamento tecnológico do fornecedor. Os usuários podem aproveitar o AWS Glue Streaming como parte do ecossistema mais amplo da AWS, integrando-o sem complicações a outros serviços da AWS. Isso permite a fácil integração com fontes de dados, aplicações e serviços existentes, sem a necessidade de estar vinculado a uma tecnologia ou plataforma específica.
Quando devo usar o AWS Glue Streaming?
Existem muitas opções quando se trata de casos de uso de streaming. Recomendamos o uso do streaming do AWS Glue nos cenários apresentados a seguir.
Se você já usa o AWS Glue ou o Spark para realizar o processamento em lote, o AWS Glue Streaming é a escolha ideal para você. Ele fornece uma transição sem complicação para o desenvolvimento de trabalhos de streaming sem a necessidade de aprender uma nova linguagem ou estrutura. Aproveitando o conhecimento e a infraestrutura existentes, o AWS Glue Streaming simplifica o processo de desenvolvimento de trabalhos e permite ampliar os recursos de processamento de dados com facilidade para cenários de streaming em tempo real.
Se você precisar de um serviço ou de um produto unificado para lidar com workloads em lote, de streaming e orientadas a eventos, o AWS Glue Streaming é a solução para você. Com o AWS Glue Streaming, é possível consolidar suas necessidades de processamento de dados em uma única estrutura, eliminando a complexidade do gerenciamento de vários sistemas. Isso possibilita o desenvolvimento e a manutenção eficientes de diversos fluxos de trabalho de dados, ao mesmo tempo em que garante consistência e compatibilidade entre diferentes tipos de workloads.
O AWS Glue Streaming é adequado para cenários que envolvem volumes de dados de streaming extremamente grandes e transformações complexas, como junções entre fluxos ou bancos de dados relacionais. Ele pode processar e analisar fluxos massivos de dados com eficiência, possibilitando que você lide com workloads complexas com facilidade. Quer se trate de ingestão de dados em alta velocidade ou de manipulações complexas de dados, a escalabilidade e os recursos avançados de processamento do AWS Glue Streaming garantem performance ideal e resultados precisos.
Se você preferir uma abordagem visual para desenvolver trabalhos de streaming, o AWS Glue oferece o AWS Glue Studio, com o qual você pode projetar e gerenciar visualmente as aplicações de streaming, simplificando o processo de desenvolvimento. Essa interface intuitiva possibilita que os desenvolvedores criem, configurem e monitorem fluxos de trabalho de streaming usando uma interface visual, o que reduz a curva de aprendizado e aumenta a produtividade.
O AWS Glue Streaming é uma excelente opção para casos de uso quase em tempo real, nos quais existem SLAs (Acordos de Serviço) rigorosos superiores a dez segundos.
Se você estiver desenvolvendo um data lake transacional usando o Apache Iceberg, o Apache Hudi ou o Delta Lake, o AWS Glue Streaming fornecerá suporte nativo para esses formatos de tabela aberta. Essa integração sem complicações possibilita o processamento de dados de streaming diretamente desses data lakes transacionais, garantindo integridade, compatibilidade e consistência de dados.
Ao precisar ingerir dados de streaming para uma variedade de destinos de dados, o AWS Glue Streaming disponibiliza destinos nativos para uma variedade de destinos de dados, como o Amazon Redshift, o Amazon RDS, o Amazon Aurora, o Oracle, o SQL Server e outros destinos.
Fonte de dados compatíveis
O AWS Glue Streaming oferece suporte às seguintes fontes de dados:
Amazon Kinesis
Amazon MSK (Managed Streaming for Apache Kafka)
Apache Kafka autogerenciado
Destinos de dados com suporte
O AWS Glue Streaming oferece suporte para uma variedade de destinos de dados, como:
Destinos de dados compatíveis com o Catálogo de Dados do AWS Glue
Amazon S3
Amazon Redshift
MySQL
PostgreSQL
Oracle
Microsoft SQL Server
Snowflake
Qualquer banco de dados que possa ser conectado usando JDBC
Apache Iceberg, Delta e Apache Hudi
Conectores do AWS Glue Marketplace
