Apache Hadoop - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Apache Hadoop

Apache Hadoop はオープンソースの Java ソフトウェアフレームワークで、インスタンスクラスター全体で大量のデータ処理をサポートします。インスタンス 1 つから数千個まで規模を問わずに動作します。Hadoop は、 MapReduce や Tez などのさまざまな処理モデルを使用して複数のインスタンスに処理を分散し、HDFS と呼ばれる分散ファイルシステムを使用して複数のインスタンスにデータを保存します。Hadoop はクラスター内の各インスタンスの稼働状況を監視し、1 つまたは複数のノードが障害を起こしても自動的に復帰させます。このように、Hadoop は処理能力やストレージ性能を向上させるだけでなく、高い可用性も提供するものです。詳細については、Hadoop ドキュメントを参照してください。

次の表は、Amazon EMR 7.x シリーズの最新リリースに含まれている Hadoop のバージョンと、Amazon EMR で Hadoop と共にインストールされるコンポーネントを示しています。

このリリースで Hadoop と共にインストールされるコンポーネントのバージョンについては、「リリース 7.1.0 コンポーネントバージョン」を参照してください。

emr-7.1.0 の Hadoop バージョン情報
Amazon EMR リリースラベル Hadoop のバージョン Hadoop でインストールされるコンポーネント

emr-7.1.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

次の表は、Amazon EMR 6.x シリーズの最新リリースに含まれている Hadoop のバージョンと、Amazon EMR で Hadoop と共にインストールされるコンポーネントを示しています。

このリリースで Hadoop と共にインストールされるコンポーネントのバージョンについては、「リリース 6.15.0 コンポーネントバージョン」を参照してください。

emr-6.15.0 の Hadoop バージョン情報
Amazon EMR リリースラベル Hadoop のバージョン Hadoop でインストールされるコンポーネント

emr-6.15.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

次の表は、Amazon EMR 5.x シリーズの最新リリースに含まれている Hadoop のバージョンと、Amazon EMR で Hadoop と共にインストールされるコンポーネントを示しています。

このリリースで Hadoop と共にインストールされるコンポーネントのバージョンについては、「リリース 5.36.2 コンポーネントバージョン」を参照してください。

emr-5.36.2 の Hadoop バージョン情報
Amazon EMR リリースラベル Hadoop のバージョン Hadoop でインストールされるコンポーネント

emr-5.36.2

Hadoop 2.10.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Amazon EMR 5.18.0 以降では、Amazon EMR アーティファクトリポジトリを使用し、特定の Amazon EMR リリースで利用可能なライブラリおよび依存関係の正確なバージョンに対してジョブコードをビルドできます。詳細については、「Amazon EMR アーティファクトリポジトリを使用して依存関係を確認する」を参照してください。