Apache Hadoop - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Apache Hadoop

O Apache Hadoop é uma estrutura de software Java de código aberto compatível com processamento de dados em massa por todo um cluster de instâncias. Ele também pode ser executado em uma única instância ou em milhares de instâncias. O Hadoop usa vários modelos de processamento, como MapReduce e Tez, para distribuir o processamento em várias instâncias e também usa um sistema de arquivos distribuído chamado HDFS para armazenar dados em várias instâncias. O Hadoop monitora a integridade das instâncias no cluster e pode fazer a recuperação de falha em um ou mais nós. Dessa maneira, o Hadoop proporciona o aumento do processamento e da capacidade de armazenamento, bem como a alta disponibilidade. Para obter mais informações, consulte a documentação do Hadoop.

A tabela a seguir lista a versão do Hadoop incluída na versão mais recente da série Amazon EMR 7.x, junto com os componentes que a Amazon EMR instala com o Hadoop.

Para a versão dos componentes instalados com o Hadoop nesta versão, consulte Versões de componentes da versão 7.3.0.

Informações sobre a versão do Hadoop para o emr-7.3.0
Gravadora EMR de lançamento da Amazon Versão do Hadoop Componentes instalados com o Hadoop

emr-7.3.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

A tabela a seguir lista a versão do Hadoop incluída na versão mais recente da série Amazon EMR 6.x, junto com os componentes que a Amazon EMR instala com o Hadoop.

Para obter a versão dos componentes instalados com o Hadoop nessa versão, consulte Release 6.15.0 Component Versions.

Informações de versão do Hadoop para o emr-6.15.0
Gravadora EMR de lançamento da Amazon Versão do Hadoop Componentes instalados com o Hadoop

emr-6.15.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

A tabela a seguir lista a versão do Hadoop incluída na versão mais recente da série Amazon EMR 5.x, junto com os componentes que a Amazon EMR instala com o Hadoop.

Para a versão dos componentes instalados com o Hadoop nesta versão, consulte Versões de componentes da versão 5.36.2.

Informações sobre a versão do Hadoop para emr-5.36.2
Gravadora EMR de lançamento da Amazon Versão do Hadoop Componentes instalados com o Hadoop

emr-5.36.2

Hadoop 2.10.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

A partir do Amazon EMR 5.18.0, você pode usar o repositório de EMR artefatos da Amazon para criar seu código de trabalho com base nas versões exatas das bibliotecas e dependências que estão disponíveis em versões específicas da Amazon. EMR Para obter mais informações, consulte Verificar dependências usando o repositório de artefatos do Amazon EMR.

Tópicos