Console do Amazon EMR - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Console do Amazon EMR

O console oferece uma interface atualizada que fornece uma maneira intuitiva de gerenciar seu ambiente Amazon EMR e fornece acesso conveniente à documentação, informações sobre produtos e outros recursos.

Capacidades do console

O console do Amazon EMR está disponível no seguinte URL:

A tabela a seguir lista o status dos principais componentes do console do Amazon EMR.

Componente do console do Amazon EMR Console

EMR Studio

Criar e gerenciar clusters

Bloqueio de acesso público

Monitore CloudWatch eventos da Amazon

Configurações de segurança

Clusters virtuais (Amazon EMR no EKS)

Visualize e gerencie suas sub-redes da Amazon Virtual Private Cloud 1

Cadernos 2

1 No console, você pode visualizar e gerenciar suas sub-redes da Amazon VPC na seção Rede ao criar um cluster.

2 Notebooks EMR estão disponíveis como espaços de trabalho do EMR Studio no console. O botão Criar espaço de trabalho no console permite criar novos cadernos. Para acessar ou criar Workspaces, os usuários dos Cadernos do EMR precisam de permissões adicionais de perfil do IAM. Para obter mais informações, consulte Notebooks do Amazon EMR são espaços de trabalho do Amazon EMR Studio no console e no console do Amazon EMR.

Resumo das diferenças

Esta seção descreve os recursos da experiência do console do Amazon EMR. Esses recursos se enquadram nas seguintes categorias:

Compatibilidade de clusters no console

Em alguns casos, um cluster que você criou pode não ser compatível com o console. A lista a seguir descreve os requisitos de compatibilidade para o console do Amazon EMR.

  • O console oferece suporte a clusters criados nas versões 5.20.1 e posteriores do Amazon EMR.

  • Você pode clonar clusters que usam escalabilidade automática no console, mas você só pode criar novos clusters se quiser escalá-los manualmente ou usar escalabilidade gerenciada.

Para criar e trabalhar com clusters da versão 5.20.1 e anteriores, você pode usar o AWS Command Line Interface (AWS CLI) ou o AWS SDK.

Criar clusters

Recurso Console

Terminologia: tipos de nós de cluster do Amazon EMR

Primário, central e de tarefa

Versões do Amazon EMR com suporte1

Versão 5.20.1 e posterior do Amazon EMR

Início rápido de um cluster

Use o botão Criar cluster no painel Resumo. O nome do cluster não pode conter os caracteres <, >, $, | ou `(crase).

Configuração de um tempo limite para o provisionamento spot

Defina um período de tempo limite para o provisionamento de instâncias para cada frota no cluster.

Perfis de serviço e perfil para o perfil de instância do Amazon EC2

O console não cria funções padrão; você deve criar funções com o console do IAM ou selecionar uma função do IAM já criada

Visibilidade do cluster

No console do Amazon EMR, não é possível tornar um cluster visível para todos os usuários. Sua política do IAM determina o acesso ao cluster.

Redes: configuração de sub-redes privadas

Você deve configurar endpoints do Amazon S3 e gateways NAT usando os respectivos consoles do Amazon S3 e do Amazon VPC.

Visualização consistente do Sistema de Arquivos do EMR (EMRFS CV)

Com o lançamento da read-after-write consistência forte do Amazon S3 em 1º de dezembro de 2020, você não precisa usar o EMRFS CV com seus clusters do EMR

Depuração

Você pode depurar trabalhos usando a interface do usuário da aplicação na página de detalhes do cluster.

1 Você não pode criar ou editar clusters usando versões anteriores ao Amazon EMR 5.20.1 no console, mas todos os clusters existentes criados usando versões anteriores à 5.20.1 continuarão funcionando. Para criar e editar clusters com versões do Amazon EMR anteriores à 5.20.1, use a API ou a CLI. Você pode visualizar todos os clusters usando o console, mas os consoles criados antes da versão 5.20.1 podem não ser compatíveis com os recursos mais recentes.

Visualizando e pesquisando clusters

A tabela a seguir destaca como você pode usar o console do Amazon EMR para visualizar, visualizar e pesquisar clusters.

nota

A aplicação de um filtro de dados à lista de clusters consulta todo o banco de dados. Entretanto, ao inserir uma string de texto na caixa de pesquisa, a pesquisa se aplica somente aos resultados que a lista carregou no lado do cliente.

Recurso Console

Visualização de detalhes do cluster

Você pode selecionar o ID do cluster para visualizar os detalhes completos do cluster, como as opções de configuração, as interfaces do usuário de aplicações persistentes e os logs.

Pesquisa de clusters

Use um único campo de pesquisa para inserir consultas de pesquisa de texto e para criar e aplicar filtros de dados como “Status = qualquer status ativo”.

Descoberta de clusters com falha

Para pesquisar clusters com falha, aplique o filtro Status = Encerrado com erros.

Visualizando ou editando detalhes do cluster

Recurso Console

Visualização das instâncias em seus grupos de instâncias e frotas de instâncias, em conjunto com opções de escalabilidade, provisionamento, redimensionamento e encerramento.

Veja as opções e os detalhes da instância na guia Instâncias. Veja as opções de encerramento na guia Propriedades.

Visualização de interfaces do usuário, logs e configurações de aplicações

(interface do usuário do Apache Spark, servidor de histórico do Spark, interface do usuário do Tez, servidor de linha do tempo do YARN)

Veja as configurações do cluster na guia Configurações. Inicie uma interface do usuário da aplicação dinâmica e persistente para visualizar os logs de uma aplicação na guia Aplicações.

Exportação de um cluster para a CLI

Opção disponível nos menus de detalhes e de visualização da listagem de Ações do cluster como “Visualizar comando para clonar cluster”.

Diferenças no trabalho com configurações de segurança

Recurso Console

Clonagem de configurações de segurança

Governança federada ao usar Trino e Apache Ranger

Uso de um perfil de runtime para envio de trabalhos a um cluster1

Autorização de acesso aos dados do Sistema de Arquivos do EMR (EMRFS)

Pontos de acesso Amazon S3

AWS Lake Formation controles de acesso

Perfis de runtime

1 Para transmitir um perfil durante o envio da etapa, o cluster deve usar uma configuração de segurança com uma política de permissões do IAM anexada para que o usuário possa transmitir somente os perfis aprovados e os trabalhos possam acessar os recursos do Amazon EMR. Para ter mais informações, consulte Perfis de runtime para etapas ao Amazon EMR.