As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usando AWS Lake Formation com o Amazon EMR
O Amazon EMR é uma plataforma de cluster AWS gerenciada flexível na qual você pode executar qualquer código personalizado em estruturas de big data compatíveis, como Hadoop Map-Reduce, Spark, Hive, Presto etc. As organizações também usam o Amazon EMR para executar aplicativos de processamento de dados em lote e streaming em um cluster altamente distribuído. Usando o Apache Spark no Amazon EMR, você pode executar suas transformações de dados e código personalizado em bancos de dados e tabelas cujas permissões são gerenciadas pelo Lake Formation.
Existem três opções para implementar o Amazon EMR:
-
EMR no EC2
-
Tecnologia sem servidor do EMR
-
Amazon EMR no EKS
Para obter mais informações, consulte Integrar o Amazon EMR com o Lake Formation ou Usar o EMR Serverless com para um controle de acesso refinado AWS Lake Formation
Suporte a formatos de tabelas transacionais
As versões 6.15.0 e posteriores do Amazon EMR incluem suporte para permissões de controle de acesso em nível de tabela, linha, coluna e célula do Lake Formation nos formatos Apache Hudi , Apache Iceberg e Delta Lake
Para ver as limitações, consulte Considerações para o Amazon EMR com Lake Formation.
Formatos de tabela compatíveis | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Formato da tabela | Descrição e operações permitidas | Permissões do Lake Formation aceitas no Amazon EMR | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Hudi |
Um formato de tabela aberta usado para simplificar o processamento incremental de dados e o desenvolvimento de pipelines de dados. Para obter uma lista das operações compatíveis, consulte Apache Hudi e Lake Formation. |
O Amazon EMR oferece suporte ao controle de acesso no nível de tabela, linha, coluna e célula com o Apache Hudi. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Iceberg |
Um formato de tabela aberta que gerencia grandes coleções de arquivos como tabelas. Para obter uma lista das operações compatíveis, consulte Apache Iceberg e Lake Formation. |
O Amazon EMR oferece suporte ao controle de acesso no nível de tabela, linha, coluna e célula com o Apache Iceberg. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Linux Foundation Delta Lake |
O Delta Lake é um projeto de código aberto que ajuda a implementar arquiteturas modernas de data lake, geralmente construídas no Amazon S3 ou no Sistema de Arquivos Distribuído do Hadoop (HDFS). Para obter uma lista das operações compatíveis, consulte Delta Lake e Lake Formation. |
O Amazon EMR oferece suporte ao controle de acesso em nível de tabela, linha, coluna e célula com tabelas Delta Lake. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Recursos adicionais do
Guia do usuário, postagens de blog e oficinas
