As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
EMRIntegração da Amazon com grupos de EC2 colocação
Ao iniciar um cluster de EMR vários nós primários da Amazon na AmazonEC2, você tem a opção de usar estratégias de grupos de posicionamento para especificar como deseja que as instâncias de nós primários sejam implantadas para se protegerem contra falhas de hardware.
As estratégias de grupos de posicionamento são suportadas a partir da EMR versão 5.23.0 da Amazon como uma opção para vários clusters de nós primários. Atualmente, somente os tipos de nós primários são compatíveis com a estratégia de grupo de posicionamento, e a estratégia SPREAD
é aplicada a estes nós primários. A estratégia SPREAD
posiciona um pequeno grupo de instâncias em um hardware subjacente separado para evitar a perda de múltiplos nós primários em caso de falha de hardware. Uma solicitação de inicialização de instância poderá falhar se não houver hardware exclusivo suficiente para atender à solicitação. Para obter mais informações sobre estratégias e limitações de EC2 posicionamento, consulte Grupos de posicionamento no Guia EC2 do usuário para instâncias Linux.
Há um limite inicial da Amazon EC2 de 500 clusters habilitados para estratégias de grupos de posicionamento que podem ser lançados por AWS região. Entre em contato com o AWS suporte para solicitar um aumento no número de grupos de colocação permitidos. Você pode identificar os grupos de EC2 posicionamento que a Amazon EMR cria rastreando o par de valores-chave que a Amazon EMR associa à estratégia de grupos de EMR posicionamento da Amazon. Para obter mais informações sobre tags de instância de EC2 cluster, consulteVeja instâncias de cluster na Amazon EC2.
Anexando a política gerenciada por grupos de posicionamento à Amazon EMRrole
A estratégia de grupos de posicionamento exige uma política gerenciada chamadaAmazonElasticMapReducePlacementGroupPolicy
, que permite EMR à Amazon criar, excluir e descrever grupos de posicionamento na AmazonEC2. Você deve AmazonElasticMapReducePlacementGroupPolicy
se associar à função de serviço da Amazon EMR antes de iniciar um EMR cluster da Amazon com vários nós primários.
Como alternativa, você pode anexar a política AmazonEMRServicePolicy_v2
gerenciada à função de EMR serviço da Amazon em vez da política gerenciada do grupo de posicionamento. AmazonEMRServicePolicy_v2
permite o mesmo acesso aos grupos de colocação na Amazon EC2 que AmazonElasticMapReducePlacementGroupPolicy
o. Para obter mais informações, consulte Função de serviço para a Amazon EMR (EMRfunção).
A política AmazonElasticMapReducePlacementGroupPolicy
gerenciada é o JSON texto a seguir, criado e administrado pela AmazonEMR.
nota
Como a política AmazonElasticMapReducePlacementGroupPolicy
gerenciada é atualizada automaticamente, a política mostrada aqui pode ser out-of-date. Use o AWS Management Console para visualizar a política atual.
{ "Version":"2012-10-17", "Statement":[ { "Resource":"*", "Effect":"Allow", "Action":[ "ec2:DeletePlacementGroup", "ec2:DescribePlacementGroups" ] }, { "Resource":"arn:aws:ec2:*:*:placement-group/pg-*", "Effect":"Allow", "Action":[ "ec2:CreatePlacementGroup" ] } ] }
Inicie um EMR cluster da Amazon com vários nós primários usando a estratégia de grupos de posicionamento
Para iniciar um EMR cluster da Amazon que tenha vários nós primários com uma estratégia de grupo de posicionamento, anexe a política gerenciada do grupo de posicionamento AmazonElasticMapReducePlacementGroupPolicy
à EMR função da Amazon. Para obter mais informações, consulte Anexando a política gerenciada por grupos de posicionamento à Amazon EMRrole.
Toda vez que você usa essa função para iniciar um EMR cluster da Amazon com vários nós primários, a Amazon EMR tenta lançar um cluster com a SPREAD
estratégia aplicada aos seus nós primários. Se você usar uma função que não tenha a política gerenciada por grupos de posicionamento AmazonElasticMapReducePlacementGroupPolicy
vinculada a ela, a Amazon EMR tentará lançar um EMR cluster da Amazon que tenha vários nós primários sem uma estratégia de grupos de posicionamento.
Se você iniciar um EMR cluster da Amazon que tenha vários nós primários com o placement-group-configs
parâmetro usando o Amazon EMRAPI ouCLI, a Amazon EMR só iniciará o cluster se a Amazon EMRrole tiver a política gerenciada por grupos de posicionamento AmazonElasticMapReducePlacementGroupPolicy
anexada. Se a Amazon EMRrole não tiver a política anexada, o EMR cluster da Amazon com vários nós primários iniciados falhará.
Iniciar um cluster com múltiplos nós primários sem uma estratégia de grupos de posicionamento
Para que um cluster com múltiplos nós primários inicie nós primários sem a estratégia de grupos de posicionamento, é necessário:
-
Remova a política gerenciada por grupos
AmazonElasticMapReducePlacementGroupPolicy
de posicionamento da Amazon EMRrole ou -
Inicie um cluster com vários nós primários com o
placement-group-configs
parâmetro usando a Amazon EMRAPI ou CLI escolhendoNONE
como estratégia de grupo de posicionamento.
Verificar a configuração da estratégia de grupos de posicionamento anexada ao cluster com múltiplos nós primários
Você pode usar o cluster Amazon EMR describe API para ver a configuração da estratégia do grupo de posicionamento anexada ao cluster com vários nós primários.
aws emr describe-cluster --cluster-id "j-xxxxx" { "Cluster":{ "Id":"j-xxxxx", ... ... "PlacementGroups":[ { "InstanceRole":"MASTER", "PlacementStrategy":"SPREAD" } ] } }