メニュー
Amazon EMR
管理ガイド

インスタンスストアと Amazon EBS

EC2 インスタンスには、2 タイプのストレージボリュームが利用できます。Amazon EBS ボリュームとインスタンスストア。 Amazon EBS ボリュームは、Amazon EMR バージョン 4.0 以降でのみ利用できます。ルートデバイスボリュームが、インスタンスストアを使用するか、Amazon EBS ボリュームを使用するかは AMI に応じて異なります。AMI によっては、Amazon EC2インスタンスストアによりバックアップされるものと、Amazon EBSによってバックアップされるものがあります。 詳細については、 Amazon EC2 User Guide for Linux Instances の「 Amazon EC2 ルートデバイスボリューム;」を参照してください。

Amazon EBS は、通常の Amazon EC2 インスタンスと、Amazon EMR 内での機能が異なります。 EMR クラスターにアタッチされた Amazon EBS ボリュームはエフェメラルです。これらのボリュームは、クラスターとインスタンスが削除されると (たとえば、インスタンスグループを縮小する場合など) 削除されるため、データが永続するのを期待しないように注意することが重要です。データの存続は一時的ですが、クラスター内のノードの数と仕様によっては、HDFS 内のデータがレプリケートされることもあります。EBS ストレージボリュームを追加すると、これらは追加ボリュームとしてマウントされます。これらは起動ボリュームの一部ではありません。YARN は、すべての追加のボリュームを使用するように構成されますが、論理ストレージ (たとえばローカルログファイル) として追加のボリュームを割り当てる責任があります。

インスタンスストア、EBS ボリュームストレージ、またはその両方が HDFS データに使用され、バッファ、キャッシュ、スクラッチデータ、および一部のアプリケーションがローカルファイルシステムに「こぼす」可能性があるその他の一時的なコンテンツにも使用されます。EMRFS により、Amazon S3 に保存される HDFS データに永続的な「真のソース」があることが確認できます。

Amazon EMR は、パフォーマンスを向上するために、自動的に Amazon EBS General Purpose SSD (gp2) 10 GB ボリュームを、AMI のルートデバイスとしてアタッチします。EBS コストは、クラスターが実行されるリージョンで、gp2 ボリュームの月次 Amazon EBS 料金に基づき、時間ごとのコストが計算されます。たとえば、0.10 USD/GB-月が請求されるリージョンで、EMR クラスターの各ノードのルートボリュームの 1 時間あたりの EBS コストは、1 時間あたり約 0.00139 USD (0.10 USD/GB-月を 30 日で割り、24 時間で割って 10 GB を掛ける) となります。

Amazon EMRでインスタンスタイプを構成するとき、追加の EBS ボリュームを指定できます。これにより、インスタンスストア (存在する場合) とデフォルト EBS ボリュームを超えた容量を追加します。 Amazon EBS のボリュームタイプには、汎用 (SSD)、プロビジョンド IOPS (SSD)、スループット最適化 (HDD)、コールド (HDD)、マグネティックがあります。これらはパフォーマンス特性と料金が異なるため、アプリケーションの分析ニーズとビジネスニーズに応じてストレージを調整できます。たとえば、ディスクに書き込む必要のあるアプリケーションや、メモリ内や Amazon S3 の使用で安全に動作するアプリケーションがあります。

EBS ボリュームをインスタンスにアタッチできるのは、クラスターの起動時のみです。ただし別のタスクノードインスタンスグループを追加した場合は、EBS ボリュームを追加できます。EMR クラスター内のインスタンスに障害が発生した場合は、インスタンスおよびアタッチされている EBS ボリュームの両方が、新しいものに置き換えられます。結果として、手動で EBS ボリュームをデタッチする場合、Amazon EMR はそれを失敗として扱い、インスタンスストレージ (該当する場合) とボリュームストアの両方を置き換えます。

EMR クラスターで Amazon EBS を使用する場合は、次の点にも注意する必要があります。

  • EBS ボリュームのスナップショットを作成し、それを Amazon EMR 内で復元することはできません。再利用可能なカスタム設定を作成するには、カスタム AMI (Amazon EMR バージョン 5.7.0 以降で入手可能) を使用します。詳細については、「カスタム AMI の使用」を参照してください。

  • 暗号化された EBS ルートストレージボリュームは、カスタム AMI を使用するときにのみサポートされます。詳細については、暗号化された Amazon EBS ルートデバイスボリュームを使用したカスタム AMI の作成 を参照してください。 暗号化された EBS ストレージボリュームはサポートされません。

  • Amazon EMR webservice APIを使用してタグを適用する場合、それらのオペレーションがEBS ボリュームに適用されます。

  • インスタンスごとに 25 ボリュームという制限があります。