Apache Hadoop - Amazon EMR

Apache Hadoop

Apache Hadoop はオープンソースの Java ソフトウェアフレームワークで、インスタンスクラスター全体で大量のデータ処理をサポートします。インスタンス 1 つから数千個まで規模を問わずに動作します。Hadoop では、MapReduce や Tez などのさまざまな処理モデルを使用して、処理を複数のインスタンスに分散します。また、HDFS という分散ファイルシステムを使用して、データを複数のインスタンスにわたって保存します。Hadoop はクラスター内の各インスタンスの稼働状況を監視し、1 つまたは複数のノードが障害を起こしても自動的に復帰させます。このように、Hadoop は処理能力やストレージ性能を向上させるだけでなく、高い可用性も提供するものです。詳細については、Hadoop ドキュメントを参照してください。

次の表は、Amazon EMR 7.x シリーズの最新リリースに含まれている Hadoop のバージョンと、Amazon EMR で Hadoop と共にインストールされるコンポーネントを示しています。

このリリースで Hadoop と共にインストールされるコンポーネントのバージョンについては、「Release 7.3.0 Component Versions」を参照してください。

emr-7.3.0 の Hadoop バージョン情報
Amazon EMR リリースラベル Hadoop のバージョン Hadoop でインストールされるコンポーネント

emr-7.3.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

次の表は、Amazon EMR 6.x シリーズの最新リリースに含まれている Hadoop のバージョンと、Amazon EMR で Hadoop と共にインストールされるコンポーネントを示しています。

このリリースで Hadoop と共にインストールされるコンポーネントのバージョンについては、「リリース 6.15.0 コンポーネントバージョン」を参照してください。

emr-6.15.0 の Hadoop バージョン情報
Amazon EMR リリースラベル Hadoop のバージョン Hadoop でインストールされるコンポーネント

emr-6.15.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

次の表は、Amazon EMR 5.x シリーズの最新リリースに含まれている Hadoop のバージョンと、Amazon EMR で Hadoop と共にインストールされるコンポーネントを示しています。

このリリースで Hadoop と共にインストールされるコンポーネントのバージョンについては、「Release 5.36.2 Component Versions」を参照してください。

emr-5.36.2 の Hadoop バージョン情報
Amazon EMR リリースラベル Hadoop のバージョン Hadoop でインストールされるコンポーネント

emr-5.36.2

Hadoop 2.10.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Amazon EMR 5.18.0 以降では、Amazon EMR アーティファクトリポジトリを使用し、特定の Amazon EMR リリースで利用可能なライブラリおよび依存関係の正確なバージョンに対してジョブコードをビルドできます。詳細については、「Amazon EMR アーティファクトリポジトリを使用して依存関係を確認する」を参照してください。

トピック