As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Migre dados para a nuvem AWS usando o Starburst
Criado por Antony Prasad Thevaraj (AWS), Shaun Van Staden (Starburst) e Suresh Veeragoni (AWS)
Ambiente: produção | Tecnologias: análise; lagos de dados; bancos de dados | Workload: todas as outras workloads |
Serviços da AWS: Amazon EKS |
Resumo
O Starburst ajuda a acelerar sua jornada de migração de dados para a Amazon web Services (AWS) fornecendo um mecanismo de consulta empresarial que reúne as fontes de dados existentes em um único ponto de acesso. Você pode executar análises em várias fontes de dados para obter informações valiosas antes de finalizar qualquer plano de migração. Sem interromper a business-as-usual análise, você pode migrar os dados usando o mecanismo Starburst ou um aplicativo dedicado de extração, transformação e carregamento (ETL).
Pré-requisitos e limitações
Pré-requisitos
Uma conta AWS ativa
Uma nuvem privada virtual (VPC).
Amazon Elastic Kubernetes Service (Amazon EKS): cluster
Um grupo do Amazon Elastic Compute Cloud (Amazon EC2) grupo do Auto Scaling
Uma lista das workloads atuais do sistema que precisem ser migradas
Conectividade de rede da AWS com seu ambiente on-premises
Arquitetura
Arquitetura de referência
O diagrama de arquitetura de alto nível a seguir mostra a implantação típica do Starburst Enterprise na nuvem AWS:
O cluster Starburst Enterprise é executado dentro da sua conta da AWS.
Um usuário se autentica usando o Lightweight Directory Access Protocol (LDAP) ou Open Authorization (OAuth) e interage diretamente com o cluster Starburst.
O Starburst pode conectar-se a várias fontes de dados da AWS, como AWS Glue, Amazon Simple Storage Service (Amazon S3), Amazon Relational Database Service (Amazon RDS) e Amazon Redshift. O Starburst fornece recursos de consulta federada em todas as fontes de dados na nuvem AWS, on-premises ou em outros ambientes de nuvem.
Você inicia o Starburst Enterprise em um cluster Amazon EKS usando chart do Helm.
A Starburst Enterprise usa grupos do Amazon EC2 Auto Scaling e Instâncias Spot do Amazon EC2 para otimizar a infraestrutura.
O Starburst Enterprise se conecta diretamente às suas fontes de dados on-premises existentes para ler dados em tempo real. Além disso, se você já tiver uma implantação do Starburst Enterprise nesse ambiente, poderá conectar diretamente seu novo cluster Starburst na nuvem AWS a esse cluster existente.
Observe o seguinte:
O Starburst não é uma plataforma de virtualização de dados. É um mecanismo de consulta de processamento paralelo massivo (MPP) baseado em SQL que forma a base de uma estratégia geral de data mesh para análise.
Quando o Starburst é implantado como parte de uma migração, ele tem conectividade direta com a infraestrutura on-premises existente.
O Starburst fornece vários conectores corporativos e de código aberto integrados que facilitam a conectividade com uma variedade de sistemas herdados. Para obter uma lista completa dos conectores e seus recursos, consulte Conectores
no guia do usuário do Starburst Enterprise. O Starburst pode consultar dados em tempo real a partir de fontes de dados on-premises. Isso evita interrupções nas operações comerciais regulares durante a migração dos dados.
Se você estiver migrando de uma implantação on-premises existente do Starburst Enterprise, poderá usar um conector especial, o Starburst Stargate, para conectar seu cluster Starburst Enterprise na AWS diretamente ao seu cluster on-premises. Isso fornece benefícios adicionais de desempenho quando usuários corporativos e analistas de dados estão federando consultas da Nuvem AWS para seu ambiente on-premises.
Visão geral do processo de alto nível
Você pode acelerar os projetos de migração de dados usando o Starburst porque o Starburst permite insights sobre todos os seus dados, antes de migrá-los. A imagem a seguir mostra o processo típico de migração de dados usando o Starburst.
Funções
Normalmente, as seguintes funções são necessárias para concluir uma migração usando o Starburst:
Administrador de nuvem — Responsável por disponibilizar recursos de nuvem para executar o aplicativo Starburst Enterprise
Administrador do Starburst — responsável pela instalação, configuração, gerenciamento e suporte do aplicativo Starburst
Engenheiro de dados — Responsável por:
Migração do bancos de dados Oracle para a nuvem
Criando visualizações semânticas para apoiar a análise
Proprietário da solução ou do sistema — Responsável pela implementação geral da solução
Ferramentas
Serviços da AWS
Amazon EC2 – o Amazon Elastic Compute Cloud (Amazon EC2) oferece capacidade computacional escalável na Nuvem AWS.
Amazon EKS – O Amazon Elastic Kubernetes Service (Amazon EKS) é um serviço gerenciado que você pode usar para executar o Kubernetes na , eliminando a necessidade de instalar e manter seus próprios nós ou ambiente de gerenciamento do Kubernetes. O Kubernetes é um sistema de código aberto para automatizar a implantação, a escalabilidade e o gerenciamento de aplicações em contêineres.
Outras ferramentas
Helm
: o Helm é um gerenciador de pacotes Helm para o Kubernetes ajuda a instalar e gerenciar aplicações em seu cluster do Kubernetes. Starburst Enterprise
— O Starburst Enterprise é um mecanismo de consulta de processamento paralelo massivo (MPP) baseado em SQL que forma a base de uma estratégia geral de data mesh para análise. Starburst Stargate
— O Starburst Stargate vincula catálogos e fontes de dados em um ambiente Starburst Enterprise, como um cluster em um datacenter on-premises, aos catálogos e fontes de dados em outro ambiente Starburst Enterprise, como um cluster na nuvem AWS.
Épicos
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Identifique e priorize seus dados. | Identifique os dados que você deseja mover. Grandes sistemas herdados on-premises podem incluir dados essenciais que você deseja migrar junto com dados que você não quer mover ou não pode ser movido por motivos de conformidade. Começar com um inventário de dados ajuda a priorizar quais dados você deve segmentar primeiro. Para obter mais informações, consulte Conceitos básicos do portfólio automatizado. | Engenheiro de dados, DBA |
| Explore, faça o inventário e faça backup de seus dados. | Valide a qualidade, a quantidade e a relevância dos dados para seu caso de uso. Faça backup ou crie um instantâneo dos dados conforme necessário e finalize o ambiente de destino para os dados. | Engenheiro de dados, DBA |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Conclusão do Starburst Enterprise na Nuvem AWS. | Enquanto os dados estão sendo catalogados, configure o Starburst Enterprise em um cluster gerenciado do Amazon EKS. Para obter mais informações, consulte Implantação com o Kubernetes | Administrador da AWS, desenvolvedor de aplicativos |
| Conecte o Starburst às fontes de dados. | Depois de identificar os dados e configurar o Starburst Enterprise, conecte o Starburst às fontes de dados. O Starburst lê dados diretamente da fonte de dados como uma consulta SQL. Para obter mais informações, consulte a documentação de referência do Starburst Enterprise | Administrador da AWS, desenvolvedor de aplicativos |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Criar e executar pipelines de ETL. | Iniciar o processo de migração de dados. Essa atividade pode ocorrer ao mesmo tempo que a business-as-usual análise. Para a migração, você pode usar um produto de terceiros ou Starburst. O Starburst tem a capacidade de ler e gravar dados em diferentes fontes. Para obter mais informações, consulte a documentação de referência do Starburst Enterprise | Engenheiro de dados |
| Valide os dados. | Depois que os dados forem migrados, valide os dados para garantir que todos os dados necessários tenham sido movidos e estejam intactos. | Engenheiro de dados, DevOps engenheiro |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Substitua os dados. | Depois que a migração e a validação dos dados estiverem concluídas, você poderá recortar os dados. Isso envolve a alteração dos links de conexão de dados no Starburst. Em vez de apontar para as fontes on-premises, você aponta para as novas fontes na nuvem e atualiza as visualizações semânticas. Para obter mais informações, consulte Conectores | Engenheiro de dados, líder de substituição |
| Implemente para os usuários. | Os consumidores de dados começam a trabalhar com as fontes de dados migradas. Esse processo é invisível para os usuários finais de análise. | Líder de substituição, engenheiro de dados |
Recursos relacionados
AWS Marketplace
Documentação do Starburst
Outra Documentação da AWS
