Apache Hadoop

Apache Hadoop はオープンソースの Java ソフトウェアフレームワークで、インスタンスクラスター全体で大量のデータ処理をサポートします。インスタンス 1 つから数千個まで規模を問わずに動作します。Hadoop は、や Tez MapReduce などのさまざまな処理モデルを使用して処理を複数のインスタンスに分散します。また、HDFS と呼ばれる分散ファイルシステムを使用して複数のインスタンスにデータを保存します。Hadoop はクラスター内の各インスタンスの稼働状況を監視し、1 つまたは複数のノードが障害を起こしても自動的に復帰させます。このように、Hadoop は処理能力やストレージ性能を向上させるだけでなく、高い可用性も提供するものです。詳細については、Hadoop のドキュメントを参照してください。

次の表は、Amazon EMR EMR EMR 6.x シリーズの最新リリースに含まれている Hadoop のバージョンと、Amazon EMR EMR EMR EMR EMR EMR EMR EMR EMR EMR EMR EMR、Hadoop と共にインストールされるコンポーネントを示しています。

このリリースで Hadoop と共にインストールされるコンポーネントのバージョンについては、リリース 6.9.9.0 のコンポーネントバージョンを参照してください。

emr-6.9.9.9.9.9.0 の Hadoop バージョン情報
Amazon EMR リリースラベル	Hadoop のバージョン	Hadoop でインストールされるコンポーネント
emr 6.9.0	Hadoop 3.3.3	emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

次の表は、Amazon EMR EMR 5.x シリーズの最新リリースに含まれている Hadoop のバージョンと、Amazon EMR EMR EMR EMR EMR EMR Hadoop と共にインストールされるコンポーネントを示しています。

このリリースで Hadoop と共にインストールされるコンポーネントのバージョンについては、リリース 5.36.0 のコンポーネントバージョンを参照してください。

emr-5.36.0 の Hadoop バージョン情報
Amazon EMR リリースラベル	Hadoop のバージョン	Hadoop でインストールされるコンポーネント
emr-5.36.0	Hadoop 2.10.1	emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Amazon EMR 5.18.0 以降では、Amazon EMR アーティファクトリポジトリを使用し、特定の Amazon EMR リリースに対してジョブコードをビルドできます。詳細については、「Amazon EMR アーティファクトリポジトリを使用して依存関係を確認する」を参照してください。

トピック

• Hadoop の設定
• Amazon EMR における HDFS での透過的暗号化
• Hadoop アプリケーションの作成または実行
• YARN コンテナの不均一なメモリアクセス認識を有効にする
• Hadoop のバージョン履歴