As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Migre um banco de dados ThoughtSpot Falcon local para o Amazon Redshift
Criado por Battulga Purevragchaa (AWS) e Antony Prasad Thevaraj (AWS)
Ambiente: PoC ou piloto | Fonte: banco de dados ThoughtSpot Falcon local | Destino: Amazon Redshift |
Tipo R: redefinir arquitetura | Workload: todas as outras workloads | Tecnologias: migração; bancos de dados |
Serviços da AWS: AWS DMS; Amazon Redshift |
Resumo
Os data warehouses on-premises exigem tempo e recursos administrativos significativos, especialmente para grandes conjuntos de dados. O custo financeiro de construir, manter e cultivar esses armazéns também é muito alto. Para ajudar a gerenciar custos, manter baixa a complexidade de extração, transformação e carregamento (ETL) e oferecer desempenho à medida que seus dados crescem, você deve escolher constantemente quais dados carregar e quais arquivar.
Ao migrar seus bancos de dados ThoughtSpot Falcon
Esse padrão descreve as etapas e o processo para migrar um banco de dados ThoughtSpot Falcon de um datacenter local para um banco de dados do Amazon Redshift na nuvem da AWS.
Pré-requisitos e limitações
Pré-requisitos
Uma conta AWS ativa
Um banco de dados ThoughtSpot Falcon hospedado em um data center local
Versões do produto
ThoughtSpot versão 7.0.1
Arquitetura
O diagrama mostra o seguinte fluxo de trabalho:
Os dados são hospedados em um banco de dados relacional on-premises.
O AWS Schema Conversion Tool (AWS SCT) converte a linguagem de definição de dados (DDL) compatível com o Amazon Redshift.
Depois de criar as tabelas, você pode migrar dados usando o AWS Database Migration Service (AWS DMS).
Os dados são carregados no Amazon Redshift.
Os dados são armazenados no Amazon Simple Storage Service (Amazon S3) se você usa Redshift Spectrum ou já hospeda dados no Amazon S3.
Ferramentas
AWS DMS: o AWS Data Migration Service (AWS DMS) ajuda você a migrar bancos de dados para a AWS de forma rápida e segura.
O Amazon Redshift: o Amazon Redshift é um serviço de data warehouse rápido, totalmente gerenciado e em escala de petabytes que torna simples e econômica a análise eficiente de todos os seus dados usando as ferramentas de business intelligence existentes.
AWS SCT: o AWS Schema Conversion Tool (AWS SCT) converte seu esquema de banco de dados existente de um mecanismo de banco de dados para outro.
Épicos
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Identifique a configuração apropriada do Amazon Redshift. | Identifique a configuração apropriada do cluster do Amazon Redshift com base em seus requisitos e volume de dados. Para obter mais informações, consulte Clusters do Amazon Redshift na documentação do Amazon Redshift. | DBA |
Pesquisar o Amazon Redshift para avaliar se ele atende aos seus requisitos. | Use as perguntas frequentes do Amazon Redshift | DBA |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Crie um cluster do Amazon Redshift. | Faça login no Console de gerenciamento da AWS, abra o console do Amazon Redshift e crie um cluster do Amazon Redshift em uma nuvem privada virtual (VPC). Para obter mais informações, consulte Criar um cluster em uma VPC na documentação do Amazon Redshift. | DBA |
Conduzir uma PoC para o design do seu banco de dados do Amazon Redshift. | Siga as práticas recomendadas do Amazon Redshift conduzindo uma prova de conceito (PoC) para o design do seu banco de dados. Para obter mais informações, consulte Condução de uma prova de conceito do Amazon Redshift na documentação do Amazon Redshift. | DBA |
Criar usuários do banco de dados. | Crie os usuários em seu banco de dados do Amazon Redshift e conceda os perfis apropriados para acesso ao esquema e às tabelas. Para obter mais informações, consulte Conceção de privilégios de acesso para um usuário ou grupo de usuários na documentação do Amazon Redshift. | DBA |
Aplicar as configurações ao banco de dados de destino. | Aplique configurações ao banco de dados do Amazon Redshift de acordo com seus requisitos. Para obter mais informações sobre como habilitar parâmetros em nível de banco de dados, sessão e servidor, consulte a Referência de configuração na documentação do Amazon Redshift. | DBA |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Crie tabelas manualmente com DDL no Amazon Redshift. | (Opcional) Se você usa o AWS SCT, as tabelas são criadas automaticamente. No entanto, se houver falhas na replicação de DDLs, você precisará criar as tabelas manualmente | DBA |
Crie tabelas externas para Redshift Spectrum. | Crie uma tabela externa com um esquema externo para o Amazon Redshift Spectrum. Para criar tabelas externas, você deve ser o proprietário do esquema externo ou um superusuário do banco de dados. Para obter mais informações, consulte Criar tabelas externas para o Amazon Redshift Spectrum na documentação do Amazon Redshift. | DBA |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Use o AWS DMS para migrar os dados. | Depois de criar o DDL das tabelas no banco de dados do Amazon Redshift, migre seus dados para o Amazon Redshift usando o AWS DMS. Para obter etapas e instruções detalhadas, consulte Uso de um banco de dados do Amazon Redshift como destino do AWS DMS na documentação do AWS DMS. | DBA |
Usar um comando COPY para carregar dados. | Use o comando Para obter mais informações, consulte Uso do comando COPY para carregar do Amazon S3 na documentação do Amazon Redshift. | DBA |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Valide os registros de origem e de destino. | Valide a contagem de tabelas para os registros de origem e destino que foram carregados do seu sistema de origem. | DBA |
Implementar as práticas recomendadas do Amazon Redshift para ajuste de desempenho. | Práticas recomendadas do Amazon Redshift para projetar tabelas. Para obter mais informações, consulte a publicação As 10 melhores técnicas de ajuste de desempenho do Amazon Redshift | DBA |
Otimize o desempenho da consulta. | O Amazon Redshift usa consultas baseadas em SQL para interagir com dados e objetos no sistema. A linguagem de manipulação de dados (DML) é um subconjunto da SQL que pode ser usado para ver, adicionar, alterar e excluir dados. DDL é um subconjunto de SQL usado para adicionar, alterar excluir objetos do banco de dados, como tabelas e visualizações. Para obter mais informações, consulte Ajuste do desempenho da consulta na documentação do Amazon Redshift. | DBA |
Implementar o WLM. | Você pode usar o gerenciamento de workload (WLM) para definir diversas filas de consultas e rotear consultas para filas apropriadas no runtime. Para obter mais informações, consulte Implementação do gerenciamento do workload na documentação do Amazon Redshift. | DBA |
Trabalhe com escalonamento de simultaneidade. | Ao usar o atributo de escalabilidade de simultaneidade, você pode oferecer suporte a usuários simultâneos e consultas simultâneas praticamente ilimitadas, com desempenho de consulta consistentemente rápido. Para obter mais informações, consulte Trabalho com escalabilidade simultânea na documentação do Amazon Redshift. | DBA |
Use as práticas recomendadas do Amazon Redshift para design de tabelas. | Ao planejar seu banco de dados, certas decisões importantes de design de tabela podem influenciar fortemente o desempenho geral da consulta. Para obter mais informações sobre como escolher a opções de design de tabelas mais adequada, consulte Práticas recomendadas do Amazon Redshift para projetar tabelas na documentação do Amazon Redshift. | DBA |
Crie visões materializadas no Amazon Redshift. | Uma visão materializada contém um conjunto de resultados pré-computados, com base em uma consulta SQL a uma ou mais tabelas base. É possível emitir instruções Para obter mais informações, consulte Criar visões materializadas no Amazon Redshift na documentação do Amazon Redshift. | DBA |
Definir as junções entre as tabelas. | Para pesquisar mais de uma tabela ao mesmo tempo ThoughtSpot, você deve definir junções entre as tabelas especificando colunas que contêm dados correspondentes em duas tabelas. Essas colunas representam a extremidade Você pode defini-las usando o | DBA |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Adicione uma conexão do Amazon Redshift. | Adicione uma conexão do Amazon Redshift ao seu banco de dados Falcon local ThoughtSpot . Para obter mais informações, consulte Adicionar uma conexão com o Amazon Redshift | DBA |
Editar a conexão do Amazon Redshift. | Você pode editar a conexão do Amazon Redshift para adicionar tabelas e colunas. Para obter mais informações, consulte Editar uma conexão do Amazon Redshift | DBA |
Remapear a conexão do Amazon Redshift. | Modifique os parâmetros de conexão editando o arquivo .yaml de mapeamento de origem que foi criado quando você adicionou a conexão do Amazon Redshift. Por exemplo, você pode remapear a tabela ou coluna existente para uma tabela ou coluna diferente em uma conexão de banco de dados existente. ThoughtSpot recomenda que você verifique as dependências antes e depois de remapear uma tabela ou coluna em uma conexão para garantir que elas sejam exibidas conforme necessário. Para obter mais informações, consulte Remapear uma conexão do Amazon Redshift | DBA |
Excluir uma tabela da conexão do Amazon Redshift. | (Opcional) Se você tentar remover uma tabela em uma conexão do Amazon Redshift, ThoughtSpot verifica as dependências e mostra uma lista de objetos dependentes. Você pode escolher os objetos listados para excluí-los ou remover a dependência. Em seguida, você pode remover a tabela. Para obter mais informações, consulte Excluir uma tabela de uma conexão do Amazon Redshift | DBA |
Exclua uma tabela com objetos dependentes de uma conexão do Amazon Redshift. | (Opcional) Se você tentar excluir uma tabela com objetos dependentes, a operação será bloqueada. Uma janela Para obter mais informações, consulte Excluir uma tabela com objetos dependentes de uma conexão do Amazon Redshift | DBA |
Excluir uma conexão do Amazon Redshift. | (Opcional) Como uma conexão pode ser usada em várias fontes de dados ou visualizações, você deve excluir todas as fontes e tarefas que usam essa conexão antes de excluir a conexão do Amazon Redshift. Para obter mais informações, consulte Excluir uma conexão do Amazon Redshift | DBA |
Verificar a referência de conexão do Amazon Redshift. | Certifique-se de fornecer as informações necessárias para sua conexão com o Amazon Redshift usando a referência de conexão | DBA |
Mais informações
