Criar uma conexão BigQuery

Para se conectar ao Google BigQuery a partir do AWS Glue, você precisará criar e armazenar suas credenciais do Google Cloud Platform em um segredo e, em seguida, associar esse AWS Secrets Manager segredo a uma conexão do Google BigQuery AWS Glue.

Para configurar uma conexão com o BigQuery:

1. No Google Cloud Platform, crie e identifique recursos relevantes:

   • Crie ou identifique um projeto do GCP contendo tabelas do BigQuery às quais você gostaria de se conectar.

   • Ative a API BigQuery. Para obter mais informações, consulte Use the BigQuery Storage Read API to read na tabela.

2. No Google Cloud Platform, crie e exporte as credenciais da conta de serviço:

   Você pode usar o assistente de credenciais do BigQuery para acelerar essa etapa: criar credenciais.

   Para criar uma conta de serviço no GCP, siga o tutorial disponível em Criar contas de serviço.

   • Ao selecionar o projeto, selecione o projeto que contém sua tabela do BigQuery.

   • Ao selecionar perfis do IAM do GCP para sua conta de serviço, adicione ou crie um papel que conceda permissões apropriadas para executar jobs do BigQuery para ler, gravar ou criar tabelas do BigQuery.

   Para criar credenciais para a sua conta de serviço, siga o tutorial disponível em Criar uma chave da conta de serviço.

   • Ao selecionar o tipo de chave, selecione JSON.

   Agora você deve ter baixado um arquivo JSON com credenciais para sua conta de serviço. A aparência deve ser semelhante à seguinte:

   {
     "type": "service_account",
     "project_id": "*****",
     "private_key_id": "*****",
     "private_key": "*****",
     "client_email": "*****",
     "client_id": "*****",
     "auth_uri": "https://accounts.google.com/o/oauth2/auth",
     "token_uri": "https://oauth2.googleapis.com/token",
     "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
     "client_x509_cert_url": "*****",
     "universe_domain": "googleapis.com"
   }

3. base64 codifica seu arquivo de credenciais baixado. Em uma AWS CloudShell sessão ou similar, você pode fazer isso na linha de comando executando cat credentialsFile.json | base64 -w 0. Mantenha a saída desse comando, credentialString.

4. Nos AWS Secrets Manager, crie um segredo usando suas credenciais do Google Cloud Platform. Para criar um segredo no Secrets Manager, siga o tutorial disponível em Criar uma AWS Secrets Manager segredo na documentação do AWS Secrets Manager. Depois de criar o segredo, guarde o nome secreto, SecretName, para a próxima etapa.

   • Ao selecionar pares de chave/valor, crie um par para a chave credentials com o valor credentialString.

5. No catálogo de dados do AWS Glue, crie uma conexão seguindo as etapas em https://docs.aws.amazon.com/glue/latest/dg/console-connections.html. Depois de criar a conexão, guarde o nome da conexão, connectionName, para a próxima etapa.

   • Ao selecionar um tipo de conexão, selecione Google BigQuery.

   • Ao selecionar um Segredo da AWS, forneça o secretName.

6. Conceda ao perfil do IAM associada ao seu trabalho do AWS Glue permissão para ler secretName.

7. Na configuração do trabalho do AWS Glue, forneça connectionName como uma conexão de rede adicional.