HDFS 設定

次の表に、デフォルトの Hadoop Distributed File System (HDFS) パラメータとその設定を示します。hdfs-site 設定分類を使用して、これらの値を変更できます。詳細については、「アプリケーションの設定」を参照してください。

警告

1. ノードが 4 dfs.replication つ未満のクラスターで を 1 に設定すると、1 つのノードがダウンするとHDFSデータが失われる可能性があります。クラスターにHDFSストレージがある場合は、データ損失を避けるために、本番ワークロード用に少なくとも 4 つのコアノードでクラスターを設定することをお勧めします。

2. Amazon EMRでは、クラスターがコアノードを 未満にスケーリングすることはできませんdfs.replication。例えば、dfs.replication = 2 の場合、コアノードの最小数は 2 です。

3. マネージドスケーリングや自動スケーリングを使用する場合や、クラスターのサイズを手動で変更する場合は、dfs.replication を 2 以上に設定することをお勧めします。

パラメータ	定義	デフォルト値
dfs.block.size	HDFS ブロックのサイズ。に保存されているデータを操作している場合HDFS、分割サイズは通常 HDFSブロックのサイズです。値を大きくするとタスクの粒度は小さくなりますが、クラスターへの負荷も低下します。NameNode	134217728（128 MB）
dfs.replication	耐久性のために保存する各ブロックのコピー数。Amazon は、クラスターがプロビジョニングされているコアノードの数に基づいてこの値EMRを設定します。必要に応じて値を調整してください。デフォルト値を上書きするには、hdfs-site 分類を使用します。	1 (コアノードが 4 個未満でプロビジョニングされているクラスターの場合) 2 (コアノードが 10 個未満でプロビジョニングされているクラスターの場合) 3 (それ以外のすべてのクラスターの場合)