翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
インスタンスストレージ
概要
インスタンスストアおよび Amazon EBS ボリュームストレージは HDFS データに使用されます。また、バッファ、キャッシュ、スクラッチデータ、および一部のアプリケーションがローカルファイルシステムに「流出」する可能性があるその他の一時的なコンテンツにも使用されます。
Amazon EMR 内での Amazon EBS の機能は、通常の Amazon EC2 インスタンスと異なります。Amazon EMR クラスターにアタッチされた Amazon EBS ボリュームはエフェメラルです。これらのボリュームは、クラスターとインスタンスが終了すると (たとえば、インスタンスグループを縮小する場合などに) 削除されるため、データが永続的に存在するとはみなさないでください。データの存続はエフェメラルですが、クラスター内のノードの数と仕様によっては、HDFS 内のデータがレプリケートされることもあります。Amazon EBS ストレージボリュームを追加すると、これらは追加ボリュームとしてマウントされます。これらは起動ボリュームの一部ではありません。YARN は、すべての追加ボリュームを使用するように構成されますが、ローカルストレージとしての追加ボリュームの割り当て (たとえばローカルログファイルなど) はお客様の責任にて行ってください。
考慮事項
EMR クラスターで Amazon EBS を使用するときは、以下の追加の考慮事項に留意してください。
-
Amazon EBS ボリュームのスナップショットを作成し、それを Amazon EMR 内で復元することはできません。再利用可能なカスタム設定を作成するには、カスタム AMI (Amazon EMR バージョン 5.7.0 以降で入手可能) を使用します。詳細については、「カスタム AMI の使用」を参照してください。
-
暗号化された Amazon EBS ルートデバイスボリュームは、カスタム AMI を使用するときにのみサポートされます。詳細については、「暗号化された Amazon EBS ルートデバイスボリュームを使用したカスタム AMI の作成」を参照してください。
-
Amazon EMR API を使用してタグを適用する場合は、それらのオペレーションが EBS ボリュームに適用されます。
-
インスタンスごとに 25 ボリュームという制限があります。
-
コアノードの Amazon EBS ボリュームは 5 GB 未満にすることはできません。
インスタンスのデフォルト Amazon EBS ストレージ
EBS 専用のストレージを持つ EC2 インスタンスの場合、Amazon EMR は、Amazon EBS gp2 または gp3 ストレージボリュームをそのインスタンスに割り当てます。Amazon EMR リリース 5.22.0 以降を使用してクラスターを作成する場合、デフォルトの Amazon EBS ストレージ容量はインスタンスのサイズに基づいて増加します。
増えたストレージは複数のボリュームに分割されます。これにより、IOPS のパフォーマンスだけでなく、一部の標準ワークロードのパフォーマンスも向上します。別の Amazon EBS インスタンスストレージ設定を使用する場合、EMR クラスターを作成する際、または既存のクラスターにノードを追加する際にこれを指定することができます。Amazon EBS gp2 または gp3 ボリュームはルートボリュームとして使用でき、また gp2 または gp3 ボリュームを追加のボリュームとして追加することもできます。詳細については、「追加の EBS ストレージボリュームを指定する」を参照してください。
次の表は、Amazon EBS gp2 ストレージボリュームのデフォルト数、サイズ、およびインスタンスタイプごとの合計サイズを示しています。gp2 ボリュームと gp3 ボリュームの比較については、「Amazon EBS ボリュームタイプ gp2 と gp3 の比較」を参照してください。
Amazon EMR 5.22.0 以降のインスタンスタイプ別のデフォルトの Amazon EBS gp2 ストレージボリュームとサイズについて | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| インスタンスサイズ | ボリューム数 | ボリュームサイズ (GiB) | 合計サイズ (GiB) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.large |
1 |
32 |
32 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.xlarge |
2 |
32 |
64 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.2xlarge |
4 |
32 |
128 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.4xlarge |
4 |
64 |
256 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.8xlarge |
4 |
128 |
512 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.9xlarge |
4 |
144 |
576 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.10xlarge |
4 |
160 |
640 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.12xlarge |
4 |
192 |
768 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.16xlarge |
4 |
256 |
1024 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.18xlarge |
4 |
288 |
1152 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
*.24xlarge |
4 |
384 |
1536 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
インスタンスのデフォルトの Amazon EBS ルートボリューム
Amazon EMR リリース 6.15 以降では、Amazon EMR が Amazon EBS 汎用 SSD (gp3) を AMI のルートデバイスとして自動的にアタッチし、パフォーマンスを強化します。それ以前のリリースでは、Amazon EMR は、ルートデバイスとして EBS 汎用 SSD (gp2) をアタッチします。
| 6.15 以降 | 6.14 以前 | |
|---|---|---|
| デフォルトのルートボリュームタイプ |
|
|
| デフォルトサイズ |
|
|
| デフォルト IOPS |
|
|
| デフォルトのスループット |
|
Amazon EBS ルートデバイスボリュームをカスタマイズする方法については、「追加の EBS ストレージボリュームを指定する」を参照してください。
追加の EBS ストレージボリュームを指定する
Amazon EMR でインスタンスタイプを設定するとき、追加の EBS ボリュームを指定して、インスタンスストア (存在する場合) とデフォルト EBS ボリュームを超える容量を追加できます。Amazon EBS には、汎用 SSD、プロビジョンド IOPS (SSD)、スループット最適化 (HDD)、Cold (HDD)、磁気のボリュームタイプが用意されています。これらはパフォーマンス特性と料金が異なるため、お使いのアプリケーションの分析ニーズとビジネスニーズに応じてストレージを調整してください。たとえば、一部のアプリケーションはディスクへの書き込みが必要になる場合がありますが、メモリ内でまたは Amazon S3 を使用して安全に動作できるアプリケーションもあります。
Amazon EBS ボリュームをインスタンスにアタッチできるのは、クラスターの起動時と、別のタスクノードインスタンスグループを追加するときです。Amazon EMR クラスター内のインスタンスに障害が発生した場合は、インスタンスおよびアタッチされている Amazon EBS ボリュームの両方が、新しいボリュームに置き換えられます。結果として、手動で Amazon EBS ボリュームをデタッチする場合、Amazon EMR はそれを失敗として扱い、インスタンスストレージ (該当する場合) とボリュームストアの両方を置き換えます。
Amazon EMR では、既存の EMR クラスターのボリュームタイプを gp2 から gp3 に変更することはできません。ワークロードに gp3 を使用するには、新しい EMR クラスターを起動する必要があります。また、使用中またはプロビジョニング中のクラスターのスループットと IOPS を更新することはお勧めしません。Amazon EMR は、クラスターのスケールアップ中に追加される新しいインスタンスに対して、クラスター起動時に指定したスループットと IOPS の値を使用するためです。詳細については、「Amazon EBS ボリュームタイプ gp2 と gp3 の比較」および「gp3 への移行時の IOPS とスループットの選択」を参照してください。
重要
EMR クラスターで gp3 ボリュームを使用するには、新しい EMR クラスターを起動する必要があります。
