Criar um nó de origem do BigQuery

Pré-requisitos necessários

• Uma conexão de catálogo de dados do AWS Glue do tipo Snowflake

• Um AWS Secrets Manager segredo para suas credenciais do Google BigQuery, usado pela conexão.

• Permissões apropriadas em seu trabalho para ler o segredo usado pela conexão.

• O nome e o conjunto de dados da tabela e do projeto do Google Cloud correspondente no qual você deseja gravar.

Adicionar uma fonte de dados do BigQuery

Para adicionar um destino de dados — nó do BigQuery:

1. Escolha a conexão para seu destino de dados do BigQuery. Como você o criou, ele deve estar disponível no menu suspenso. Se precisar criar uma conexão, escolha Criar conexão com o Redshift. Para obter mais informações, consulte Visão geral do uso de conectores e conexões.

   Depois de escolher uma conexão, você pode visualizar as propriedades da conexão clicando em Exibir propriedades.

2. Identifique quais dados do BigQuery você gostaria de ler e escolha uma opção de origem do BigQuery

   • Escolha uma única tabela — permite extrair todos os dados de uma tabela.

   • Insira uma consulta personalizada — permite que você personalize quais dados são recuperados fornecendo uma consulta.

3. Descreva os dados que você gostaria de ler

   (Obrigatório) defina Projeto principal como o projeto que contém sua tabela ou um projeto principal de cobrança, se relevante.

   Se você escolheu uma única tabela, defina Tabela com o nome de uma tabela do Google BigQuery no seguinte formato: [dataset].[table]

   Se você escolheu uma consulta, forneça-a ao Query. Em sua consulta, consulte as tabelas com seu nome de tabela totalmente qualificado, no formato:[project].[dataset].[tableName].

4. Forneça propriedades do BigQuery

   Se você escolheu uma única tabela, não é necessário fornecer propriedades adicionais.

   Se você escolher uma consulta, deverá fornecer as seguintes propriedades personalizadas do Google BigQuery:

   • Defina viewsEnabled como verdadeiro.

   • Defina materializationDataset como um conjunto de dados. O principal do GCP autenticado pelas credenciais fornecidas pela AWS Glue conexão precisa ser capaz de criar tabelas nesse conjunto de dados.