Amazon EMR
管理ガイド

ステップ 2: サンプル Amazon EMR クラスターの起動

このステップでは、Amazon EMR コンソールの [Quick Options (クイックオプション)] を使用してサンプルクラスターを起動し、デフォルト値にほとんどのオプションを残します。これらのオプションの詳細については、手順の後に「クイックオプションの概要」を参照してください。また、[Go to advanced options (詳細オプションに移動する)] を選択して、クラスターで使用できるその他の設定オプションを確認することができます。このチュートリアルのクラスターを作成する前に、「ステップ 1: サンプルクラスターの前提条件の設定」の要件を満たしていることを確認してください。

サンプルクラスターの起動

サンプル Amazon EMR クラスターを起動するには

  1. AWS マネジメントコンソールにサインインした後、Amazon EMR コンソール (https://console.aws.amazon.com/elasticmapreduce/) を開きます。

  2. [Create cluster] を選択します。

  3. [Create Cluster - Quick Options (クラスターの作成 - クイックオプション)] ページで、次のフィールドを除くデフォルト値を受け入れます。

    • クラスターを識別しやすくするための [Cluster name (クラスター名)] を入力します。例: My First EMR Cluster

    • [Security and access (セキュリティとアクセス)] で、「Amazon EC2 キーペアの作成」で作成した [EC2 key pair (EC2 キーペア)] を選択します。

  4. [Create cluster] を選択します。

クラスターの [Summary (概要)] があるクラスターステータスページが表示されます。このページを使用して、クラスター作成の進行状況をモニタリングし、クラスターステータスの詳細を確認できます。クラスター作成タスクが完了すると、ステータスページの項目が更新されます。アップデートを受けるには、右側にある更新アイコンを選択するか、ブラウザを更新する必要があります。

[Network and hardware (ネットワークとハードウェア)] で、[Master (マスター)] と [Core (コア)] インスタンスステータスを見つけます。クラスターの作成時に、ステータスが [Provisioning (プロビジョニング)] から [Bootstrapping (ブートストラッピング)] を経て [Waiting (待機中)] に進みます。詳細については、「クラスターライフサイクルについて」を参照してください。

[Security groups for Master (マスターのセキュリティグループ)] と [Security Groups for Core & Task (コアとタスクのセキュリティグループ)] のリンクが表示されるとすぐに次のステップに進むことができますが、クラスターが正常に開始され、[Waiting (待機中)] の状態になるまで待つ必要があります。

クラスターの概要の読み込みの詳細については、「クラスターステータスおよび詳細の確認」を参照してください。

クイックオプションの概要

次の表では、Amazon EMR コンソールの [Quick cluster configuration (クイッククラスター設定)] ページを使用してクラスターを起動するときのフィールドとデフォルト値について説明します。

コンソールフィールド デフォルト値 説明
クラスター名 マイクラスター

クラスター名はオプションです。クラスターの記述名は一意である必要はありません。

ログ記録 Enable (有効化)

ログ記録が有効な場合、Amazon EMR により、指定された Amazon S3 フォルダに詳細なログデータが書き込まれます。ログ記録はクラスターの作成時にのみ有効にでき、設定は後から変更できません。デフォルトの Amazon S3 バケットが指定されます。オプションで独自に指定できます。詳細については、「Amazon S3 にアーカイブされたログファイルを表示する」を参照してください。

S3 フォルダ s3://aws-logs-account_number-region/elasticmapreduce/

このオプションでは、Amazon EMR がログデータを書き込む Amazon S3 バケット内のフォルダへのパスを指定します。指定されたパス内のデフォルトのフォルダがバケットに存在しない場合、そのフォルダは自動的に作成されます。Amazon S3 フォルダを入力するか参照することで、別のフォルダを指定できます。

起動モード クラスター

このオプションでは、長時間稼働クラスターを起動するか、指定するステップを実行した後に終了するクラスターを起動するかを指定します

[Cluster (クラスター)] オプションを使用して、クラスターはユーザーが終了するまで実行を続けます。これは、長時間稼働クラスターと呼ばれます。[Step execution (ステップ実行)] を選択した場合は、Amazon EMR によりステップを追加して設定するよう求められます。ステップを使用して作業をクラスターに送信できます。指定したステップの実行を終了したら、クラスターは自動的に終了します。詳細については、「クラスターの自動終了または継続稼働の設定」を参照してください。

リリース emr-5.23.0

このオプションは、クラスターの作成時に使用する Amazon EMR リリースバージョンを指定します。Amazon EMR リリースは、Amazon EMR がインストールするオープンソースのアプリケーションのバージョン (Hadoop、Hive など) を決定します。最新のリリースバージョンのラベルがデフォルトで選択されます。ソリューションとの互換性のためにオープンソースのアプリケーションの異なるバージョンが必要な場合は、以前の Amazon EMR リリースを選択できます。以前の Amazon EMR リリースバージョンを使用すると、一部の Amazon EMR 機能とアプリケーションを使用できない場合があるため、可能な限り最新のリリースバージョンを使用することをお勧めします。各 Amazon EMR リリースバージョンの詳細については、Amazon EMR リリース ガイド を参照してください。

アプリケーション Core Hadoop

このオプションでは、クラスターにインストールする、ビッグデータエコシステムからのオープンソースのアプリケーションを指定します。クイックスタートを使用すると、最も一般的なアプリケーションの組み合わせが表示されます。クイックスタートにリストされていない追加のアプリケーションを含むアプリケーションの独自の組み合わせを選択するには、[Go to advanced options (詳細オプションに移動する)] を選択します。各 Amazon EMR リリースバージョンで使用可能なアプリケーションとバージョンの詳細については、Amazon EMR リリース ガイド を参照してください。

さらに、Amazon EMR でアプリケーションをインストールできない場合、またはすべてのクラスターインスタンスでカスタムアプリケーションをインストールする必要がある場合は、ブートストラップアクションを使用できます。詳細については、「追加のソフトウェアをインストールするためのブートストラップアクションの作成」を参照してください。[Step execution (ステップ実行)] を選択した場合、Amazon EMR はステップに必要なものに基づいてインストールするアプリケーションを選択します。

インスタンスタイプ m4.large

このオプションでは、クラスターで実行されるインスタンスに対して Amazon EMR が初期化する Amazon EC2 インスタンスタイプを指定します。デフォルトのインスタンスの選択はリージョンによって異なり、一部のインスタンスタイプは一部のリージョンで利用できない場合があります。詳細については、「クラスターハードウェアとネットワークを構成する」を参照してください。

インスタンス数 3

このオプションでは、初期化する Amazon EC2 インスタンスの数を指定します。各インスタンスは、Amazon EMR クラスター内のノードに対応します。少なくとも 1 つのノード (マスターノード) が必要です。インスタンスタイプとインスタンス数を選択するためのガイダンスについては、「クラスターの設定のガイドラインとベストプラクティス」を参照してください。

EC2 キーペア オプションの選択

これにより、Secure Shell (SSH) 接続を経由してクラスター内のノードに接続するときに使用する Amazon EC2 キーペアを指定します。Amazon EC2 キーペアを作成して指定することを強くお勧めします。キーペアを選択しない場合、クラスターに接続してステップを送信したり、アプリケーションを操作したりできません。詳細については、「クラスターに接続する」を参照してください。接続するには、セキュリティグループにインバウンドルールを作成し、SSH 接続を許可する必要もあります。

アクセス許可 デフォルト

このオプションを使用して、クラスターが使用する AWS Identity and Access Management ロールを指定します。これらのロールにより、クラスターインスタンスで実行中の Amazon EMR とアプリケーションが他の AWS サービスとやり取りする必要があるアクセス許可を確認できます。[Custom (カスタム)] を選択して、独自のロールを指定できます。最初にデフォルトのロールを使用することをお勧めします。詳細については、「Amazon EMR のアクセス許可の IAM ロールを AWS に設定する」を参照してください。