As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Erro de EMR cluster da Amazon: não é possível replicar o bloco, só conseguiu replicar para zero nós.
O erro: “Não é possível replicar os blocos, só foi possível replicar para zero nós”. normalmente ocorre quando um cluster não tem HDFS armazenamento suficiente. Esse erro ocorre quando você gera mais dados no cluster do que os que podem ser armazenadosHDFS. Você vê esse erro somente enquanto o cluster está em execução, porque quando o trabalho termina, ele libera o HDFS espaço que estava usando.
A quantidade de HDFS espaço disponível para um cluster depende do número e do tipo de EC2 instâncias da Amazon que são usadas como nós principais. Os nós de tarefas não são usados para HDFS armazenamento. Todo o espaço em disco em cada EC2 instância da Amazon, incluindo os volumes EBS de armazenamento anexados, está disponível paraHDFS. Para obter mais informações sobre a quantidade de armazenamento local para cada tipo de EC2 instância, consulte Tipos e famílias de instâncias no Guia EC2 do usuário da Amazon.
O outro fator que pode afetar a quantidade de HDFS espaço disponível é o fator de replicação, que é o número de cópias de cada bloco de dados que são armazenadas HDFS para redundância. O fator de replicação aumenta de acordo com o número de nós no cluster: são 3 cópias de cada bloco de dados para um cluster com 10 ou mais nós, 2 cópias de cada bloco para um cluster com 4 a 9 nós e 1 cópia (sem redundância) para clusters com 3 ou menos nós. O HDFS espaço total disponível é dividido pelo fator de replicação. Em alguns casos, como aumentar o número de nós de 9 para 10, o aumento no fator de replicação pode, na verdade, fazer com que a quantidade de HDFS espaço disponível diminua.
Por exemplo, um cluster com dez nós principais do tipo m1.large teria 2833 GB de espaço disponível para HDFS ((10 nós X 850 GB por nó) /fator de replicação de 3).
Se seu cluster exceder a quantidade de espaço disponívelHDFS, você poderá adicionar nós principais adicionais ao seu cluster ou usar a compactação de dados para criar mais HDFS espaço. Se o seu cluster puder ser interrompido e reiniciado, você pode considerar o uso de nós principais de um tipo maior de EC2 instância da Amazon. Você também deve considerar um ajuste no fator de replicação. No entanto, esteja ciente de que diminuir o fator de replicação reduz a redundância dos HDFS dados e a capacidade do seu cluster de se recuperar de blocos perdidos ou corrompidos. HDFS
