Consulta de dados por meio de AWS Lake Formation

O uso de AWS Lake Formation facilita controlar e proteger de maneira centralizada o data lake, além de oferecer acesso aos dados. A configuração da propagação de identidade para o Lake Formation por meio do Centro de Identidade do AWS IAM e do Redshift possibilita ao administrador permitir acesso refinado a um data lake do Amazon S3, com base nos grupos de provedores de identidades (IdP) da organização. Esses grupos são gerenciados por meio do Centro de Identidade do AWS IAM. Esta seção mostra como configurar alguns casos de uso, consultando um data lake e um compartilhamento de dados, que demonstram como utilizar o Centro de Identidade do AWS IAM com o Redshift para se conectar aos recursos controlados pelo Lake Formation.

Uso de uma conexão do Centro de Identidade do AWS IAM e do Redshift para consultar um data lake

Essas etapas abordam um caso de uso no qual você usa o Centro de Identidade do AWS IAM conectado ao Redshift para consultar um data lake controlado pelo Lake Formation.

Pré-requisitos

Este procedimento tem diversas etapas de pré-requisito:

1. O Centro de Identidade do AWS IAM deve ser configurado para dar suporte à autenticação e ao gerenciamento de identidades com o Redshift. É possível habilitar o Centro de Identidade do AWS IAM pelo console e selecionar uma fonte do provedor de identidades (IdP). Depois disso, sincronize um conjunto dos usuários IdP com o Centro de Identidade do AWS IAM. Você também deve configurar uma conexão entre o Centro de Identidade do AWS IAM e o Redshift seguindo as etapas detalhadas anteriormente neste documento.

2. Crie um cluster do Amazon Redshift e habilite o gerenciamento de identidades por meio do Centro de Identidade do AWS IAM nas etapas de configuração.

3. Crie uma aplicação gerenciada do Centro de Identidade do AWS IAM para Lake Formation e a configure. Depois disso, vem a configuração da conexão entre o Centro de Identidade do AWS IAM e o Redshift. As etapas são as seguintes:

   1. Na AWS CLI, use o comando modify-redshift-idc-application para habilitar a integração do serviço Lake Formation com a aplicação gerenciada do Centro de Identidade do AWS IAM para Redshift. Essa chamada inclui o parâmetro service-integrations, que é definido como um valor de string da configuração que permite a autorização para o Lake Formation.

   2. Configure o Lake Formation usando o comando create-lake-formation-identity-center-configuration. Isso cria uma aplicação Centro de Identidade do AWS IAM para Lake Formation, visível no portal do Centro de Identidade do AWS IAM. O administrador deve definir o argumento ––cli-input-json, cujo valor é o caminho para um arquivo JSON que usa o formato padrão para todas as chamadas de API da CLI da AWS. Você deve incluir valores para o seguinte:

      • CatalogId: o ID do catálogo do Lake Formation.

      • InstanceArn: o valor ARN da instância do Centro de Identidade do AWS IAM.

Depois que o administrador concluir a configuração de pré-requisito, o administrador do banco de dados poderá criar um esquema externo com a finalidade de consultar o data lake.

1. O administrador cria o esquema externo: o administrador do banco de dados do Redshift se conecta ao banco de dados e cria um esquema externo usando a seguinte instrução SQL:

   CREATE EXTERNAL SCHEMA if not exists my_external_schema from DATA CATALOG database 'my_lf_integrated_db' catalog_id '12345678901234';

   A especificação de um perfil do IAM não é necessária nesse caso, porque o acesso é gerenciado por meio do Centro de Identidade do AWS IAM.

2. O administrador concede permissões: o administrador concede uso a um grupo do Centro de Identidade do AWS IAM, que concede permissões em recursos do Redshift. Isso é feito executando uma instrução SQL como a seguinte:

   GRANT USAGE ON SCHEMA "my_external_schema" to "MYCO:sales";

   Posteriormente, o administrador concederá permissões do Lake Formation em objetos, com base nos requisitos da organização, usando a CLI da AWS:

   aws lakeformation grant-permissions ...

3. Os usuários executam consultas: neste momento, um usuário do Centro de Identidade do AWS IAM que faz parte do grupo de vendas, para fins ilustrativos, pode fazer logon por meio do Editor de Consultas v2 no banco de dados do Redshift. Eles podem acabar executando uma consulta que acessa uma tabela no esquema externo, como no seguinte exemplo:

   SELECT * from my_external_schema.table1;

Uso de uma conexão do Centro de Identidade do AWS IAM e do Redshift para se conectar a uma unidade de compartilhamento de dados

É possível acessar uma unidade de compartilhamento de dados por meio de um data warehouse do Redshift diferente quando o acesso é gerenciado por meio do Centro de Identidade do AWS IAM. Para isso, você executa uma consulta para configurar um banco de dados externo. Antes de concluir essas etapas, presume-se que você tenha uma conexão configurada entre o Redshift e o Centro de Identidade do AWS IAM e tenha criado a aplicação do AWS Lake Formation, conforme detalhado no procedimento anterior.

1. Criação do banco de dados externo: o administrador cria um banco de dados externo para compartilhamento de dados, referenciando-o por meio do ARN. Este é um exemplo que mostra como fazer isso:

   CREATE DATABASE "redshift_external_db" FROM ARN 'arn:aws:glue:us-east-1:123456789012:database/redshift_external_db-iad' WITH NO DATA CATALOG SCHEMA;

   Nesse caso de uso, quando você está usando o Centro de Identidade do AWS IAM com Redshift para gerenciamento de identidades, o perfil do IAM não está incluído.

2. O administrador configura permissões: depois de criar um banco de dados, o administrador vai conceder uso a um grupo do Centro de Identidade do AWS IAM. Isso concede permissões em recursos do Redshift:

   GRANT USAGE ON DATABASE "my_external_db" to "MYCO:sales";

   O administrador também concede permissões do Lake Formation em objetos usando a CLI da AWS:

   aws lakeformation grant-permissions ...

3. Os usuários executam consultas: um usuário do grupo de vendas pode consultar uma tabela no banco de dados, com base nas permissões atribuídas:

   select * from redshift_external_db.public.employees;

Para obter mais informações sobre como conceder permissões em um data lake e conceder permissões em compartilhamentos de dados, consulte Granting permissions to users and groups. Para obter mais informações sobre como conceder uso a um esquema ou a um banco de dados, consulte GRANT.