翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
EmrCluster
Amazon EMR クラスターの設定を表します。このオブジェクトは、EmrActivity および HadoopActivity によってクラスターを起動するために使用されます。
スケジューラー
スケジューラーは、Hadoop クラスター内のリソースの割り当てとジョブの優先順位付けを指定する方法を提供します。管理者またはユーザーは、ユーザーおよびアプリケーションのクラス別のスケジューラーを選択できます。スケジューラーは、キューを使用してユーザーおよびアプリケーションにリソースを割り当てることができます。キューは、クラスターを作成する際に設定します。次に、特定のタイプの作業やユーザー間の優先順位を設定できます。これにより、クラスターのリソースが効率的に使用され、複数のユーザーから作業をクラスターに送信できるようになります。次の 3 種類のスケジューラーを使用できます。
-
FairScheduler
– 長期間にわたってリソースの均等なスケジュールを試みます。 -
CapacityScheduler
– キューを使用し、クラスター管理者がさまざまな優先順位とリソース割り当てのキューにユーザーを割り当てられるようにします。 -
Default – クラスターで使用されます。サイトで設定可能です。
Amazon EMR リリースバージョン
Amazon EMR リリースは、ビッグデータエコシステムからの一連のオープンソースのアプリケーションです。各リリースは異なるビッグデータアプリケーション、コンポーネント、および機能で構成され、クラスターを作成するときに Amazon EMR でインストールして設定することを選択します。リリースラベルを使用してリリースバージョンを指定します。リリースラベルの形式は emr- です。例えば、x.x.xemr-5.30.0 です。リリースラベル emr-4.0.0 以降に基づく Amazon EMR クラスターでは、releaseLabel プロパティを使用して、EmrCluster オブジェクトのリリースラベルを指定します。以前のバージョンでは、amiVersion プロパティを使用しています。
リリースバージョン 5.22.0 以降を使用して作成されたすべての Amazon EMR クラスターでは、署名バージョン 4 を使用して Amazon S3 へのリクエストを認証します。以前の一部のリリースバージョンでは、署名バージョン 2 を使用しています。署名バージョン 2 のサポートは中止されています。詳細については、「Amazon S3 更新 - SigV2 の非推奨期間の延長および変更
考慮事項と制約事項
最新バージョンの Task Runner の使用
リリースラベルを使用して自己管理型 EmrCluster オブジェクトを使用している場合は、最新の Task Runner を使用します。Task Runner の詳細については、「Task Runner の操作」を参照してください。Amazon EMR 設定のすべての分類に対してプロパティ値を設定できます。詳細については、Amazon EMR リリース ガイドのアプリケーションの設定、EmrConfiguration、およびオブジェクトリファレンスの プロパティ を参照してください。
Amazon EMR 6x シリーズのリリースバージョン
AWS Data Pipeline はリリースバージョン 6.1.0 (emr-6.1.0) のみをサポートします。
Amazon EMR 6.1.0 リリースと Hadoop 3.x の Jar の依存関係
Amazon EMR 6.x リリースシリーズでは Hadoop バージョン 3.x が使用されており、Hadoop バージョン 2.x と比較して Hadoop のクラスパスの評価方法に重要な変更が導入されました。Joda-Time のような一般的なライブラリがクラスパスから削除されました。
EmrActivity または HadoopActivity が Hadoop 3.x で削除されたライブラリに依存関係を持つ Jar ファイルを実行すると、ステップがエラー java.lang.NoClassDefFoundError または java.lang.ClassNotFoundException で失敗します。これは、Amazon EMR 5.x リリースバージョンを使用して問題なく実行された Jar ファイルで発生する可能性があります。
この問題を解決するには、EmrActivity または HadoopActivity を開始する前に、EmrCluster オブジェクトで Hadoop クラスパスに Jar ファイルの依存関係をコピーする必要があります。これを行うために bash スクリプトが提供されています。bash スクリプトは次の場所にあります。ここで、MyRegion は、EmrCluster オブジェクトが実行される AWS リージョンです (例えば、us-west-2)。
s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh
スクリプトの実行方法は、EmrActivity または HadoopActivity が AWS Data Pipeline で管理されているリソースで実行されるのか、セルフマネージドリソースで実行されるのかによって異なります。
AWS Data Pipeline によって管理されているリソースを使用する場合、bootstrapAction を EmrCluster オブジェクトに追加します。bootstrapAction は、引数としてコピーするスクリプトと Jar ファイルを指定します。EmrCluster オブジェクトごとに最大 255 個の bootstrapAction フィールドを追加できます。また、ブートストラップアクションがすでに存在する EmrCluster オブジェクトに bootstrapAction フィールドを追加できます。
このスクリプトをブートストラップアクションとして指定するには、次の構文を使用します。ここで、JarFileRegion は Jar ファイルが保存されているリージョンであり、各 MyJarFilen は、Hadoop クラスパスにコピーする Jar ファイルの Amazon S3 の絶対パスです。デフォルトで Hadoop クラスパスにある Jar ファイルを指定しないでください。
s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]
次の例では、Amazon S3 の 2 つの Jar ファイル (my-jar-file.jar と emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar) をコピーするブートストラップアクションを指定します。この例で使用しているリージョンは、us-west-2 です。
{ "id" : "MyEmrCluster", "type" : "EmrCluster", "keyPair" : "my-key-pair", "masterInstanceType" : "m5.xlarge", "coreInstanceType" : "m5.xlarge", "coreInstanceCount" : "2", "taskInstanceType" : "m5.xlarge", "taskInstanceCount": "2", "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"] }
新しい bootstrapAction への変更を有効にするには、パイプラインを保存してアクティブ化する必要があります。
セルフマネージドリソースを使用する場合は、スクリプトをクラスターインスタンスにダウンロードし、SSH を使用してコマンドラインからそのスクリプトを実行できます。スクリプトは、/etc/hadoop/conf/shellprofile.d という名前のディレクトリを作成し、そのディレクトリ内に datapipeline-jars.sh という名前のファイルを作成します。コマンドライン引数として指定された jar ファイルは、スクリプトで作成された /home/hadoop/datapipeline_jars という名前のディレクトリにコピーされます。クラスターの設定が異なる場合は、ダウンロード後にスクリプトを適切に変更してください。
コマンドラインでスクリプトを実行するための構文は、前の例で示した bootstrapAction の使用と若干異なります。次の例に示すように、引数の間にはカンマではなくスペースを使用します。
./copy-jars-to-hadoop-classpath.shus-west-2s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar
Amazon EMR の許可
カスタム IAM ロールを作成する場合は、クラスターが作業を実行するために必要な最小限の許可を慎重に検討します。Amazon S3 のファイルや Amazon RDS、Amazon Redshift、DynamoDB のデータなど、必要なリソースへのアクセス権を確実に付与します。visibleToAllUsers を False に設定する場合は、そのために必要なアクセス権限がロールに必要です。DataPipelineDefaultRole には、これらのアクセス権限がないことに注意してください。EmrCluster オブジェクトのロールとして DefaultDataPipelineResourceRole と DataPipelineDefaultRole のロールの結合を指定するか、この目的で独自のロールを作成する必要があります。
構文
| オブジェクト呼び出しフィールド | 説明 | スロットタイプ |
|---|---|---|
| schedule | このオブジェクトは、スケジュール期間の実行中に呼び出されます。このオブジェクトの依存関係の実行順序を設定するために、別のオブジェクトへのスケジュール参照を指定します。この要件を満たすには、オブジェクトのスケジュールを明示的に設定できます。たとえば、"schedule": {"ref":
"DefaultSchedule"} と指定します。ほとんどの場合、すべてのオブジェクトがそのスケジュールを継承するように、スケジュール参照をデフォルトのパイプラインオブジェクトに配置することをお勧めします。または、パイプラインにスケジュールのツリー (マスタースケジュール内のスケジュール) がある場合は、スケジュール参照がある親オブジェクトを作成できます。オプションのスケジュール設定の例については、「https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html」を参照してください。 |
参照オブジェクト ( "schedule":{"ref":"myScheduleId"} など) |
| オプションのフィールド | 説明 | スロットタイプ |
|---|---|---|
| actionOnResourceFailure | このリソースに対するリソースの失敗後に実行されるアクション。有効な値は retryall (指定した期間内にクラスターに対してすべてのタスクを再試行する) と retrynone です。 |
文字列 |
| actionOnTaskFailure | このリソースに対するタスクの失敗後に実行されるアクション。有効な値は "continue"（クラスターを終了しない）と "terminate" です。 | 文字列 |
| additionalMasterSecurityGroupIds | EMR クラスターの追加マスターセキュリティグループの ID (sg-01XXXX6a の形式)。詳細については、Amazon EMR 管理ガイドの Amazon EMR の追加セキュリティグループを参照してください。 | 文字列 |
| additionalSlaveSecurityGroupIds | EMR クラスターの追加スレーブセキュリティグループの ID（sg-01XXXX6a の形式）。 |
文字列 |
| amiVersion | クラスターノードをインストールするために Amazon EMR で使用する Amazon マシンイメージ (AMI) のバージョン。詳細については、Amazon EMR 管理ガイドを参照してください。 | 文字列 |
| applications | カンマ区切りの引数を指定してクラスターにインストールするアプリケーション。Hive と Pig がデフォルトでインストールされます。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 文字列 |
| attemptStatus | リモートアクティビティから最も最近報告されたステータス。 | 文字列 |
| attemptTimeout | リモートの作業完了のタイムアウト。設定された場合、設定された開始時間内に完了しなかったリモートアクティビティを再試行することができます。 | 間隔 |
| availabilityZone | クラスターを実行するアベイラビリティーゾーン。 | 文字列 |
| bootstrapAction | クラスターの開始時に実行するアクション。カンマで区切って引数を指定できます。アクションを複数（最大 255 個）指定するには、bootstrapAction フィールドを複数追加します。ブートストラップアクションを使用しないでクラスターを開始するのが、デフォルトの動作です。 |
文字列 |
| 設定 | Amazon EMR クラスターの設定。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 参照オブジェクト ("configuration":{"ref":"myEmrConfigurationId"} など) |
| coreInstanceBidPrice | 最大スポット料金は、Amazon EC2 インスタンスに対して支払うスポット料金です。入札価格が指定されている場合、Amazon EMR では、インスタンスグループのスポットインスタンスが使用されます。USD で指定。 | 文字列 |
| coreInstanceCount | クラスターに使用するコアノードの数。 | 整数 |
| coreInstanceType | コアノードに使用する Amazon EC2 インスタンスのタイプ。「Amazon EMR クラスターでサポートされる Amazon EC2 インスタンス 」を参照してください。 | 文字列 |
| coreGroupConfiguration | Amazon EMR クラスターのコアインスタンスグループの設定。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 参照オブジェクト (“configuration”: {“ref”:
“myEmrConfigurationId”} など) |
| coreEbsConfiguration | Amazon EMR クラスターのコアグループの各コアノードにアタッチされる Amazon EBS ボリュームの設定。詳細については、Linux インスタンス用 Amazon EC2 ユーザーガイドの EBS 最適化をサポートするインスタンスタイプを参照してください。 | 参照オブジェクト (“coreEbsConfiguration”: {“ref”:
“myEbsConfiguration”} など) |
| customAmiId | Amazon EMR リリースバージョン 5.7.0 以降にのみ適用されます。Amazon EMR が Amazon EC2 インスタンスをプロビジョンするときに使用するカスタム AMI の AMI ID を指定します。クラスターノード設定をカスタマイズするために、ブートストラップアクションの代わりに使用することもできます。詳細については、Amazon EMR 管理ガイドの次のトピックを参照してください。カスタム AMI の使用 | 文字列 |
| EbsBlockDeviceConfig |
インスタンスグループに関連付けられている、要求された Amazon EBS ブロックデバイスの設定。指定したボリューム数をインスタンスグループ内の各インスタンスに関連付けるための
|
参照オブジェクト (“EbsBlockDeviceConfig”: {“ref”:
“myEbsBlockDeviceConfig”} など) |
| emrManagedMasterSecurityGroupId | Amazon EMR クラスターのマスターセキュリティグループの識別子 (sg-01XXXX6a の形式)。詳細については、Amazon EMR 管理ガイドでセキュリティグループの設定を参照してください。 |
文字列 |
| emrManagedSlaveSecurityGroupId | Amazon EMR クラスターのスレーブセキュリティグループの ID (sg-01XXXX6a の形式)。 |
文字列 |
| enableDebugging | Amazon EMR クラスターでのデバッグを有効にします。 | 文字列 |
| failureAndRerunMode | 依存関係が失敗または再実行されたときのコンシューマーノードの動作を示します。 | 一覧表 |
| hadoopSchedulerType | クラスターのスケジューラータイプ。有効なタイプは、
PARALLEL_FAIR_SCHEDULING、
PARALLEL_CAPACITY_SCHEDULING、
DEFAULT_SCHEDULER です。 |
一覧表 |
| httpProxy | クライアントが AWS サービスに接続するために使用するプロキシホスト。 | 参照オブジェクト ("httpProxy":{"ref":"myHttpProxyId"} など) |
| initTimeout | リソースが起動するまでの待機時間。 | 間隔 |
| keyPair | Amazon EMR クラスターのマスターノードにログインするときに使用する Amazon EC2 キーペア。 | 文字列 |
| lateAfterTimeout | オブジェクトが完了しなければならない、パイプライン開始からの経過時間。スケジュールタイプが ondemand に設定されていない場合にのみトリガーされます。 |
間隔 |
| masterInstanceBidPrice | 最大スポット料金は、Amazon EC2 インスタンスに対して支払うスポット料金です。0～20.00 の 10 進数のみ (排他的) です。USD で指定。この値を設定すると、Amazon EMR クラスターマスターノードのスポットインスタンスが有効になります。入札価格が指定されている場合、Amazon EMR では、インスタンスグループのスポットインスタンスが使用されます。 | 文字列 |
| masterInstanceType | マスターノードに使用する Amazon EC2 インスタンスのタイプ。「Amazon EMR クラスターでサポートされる Amazon EC2 インスタンス 」を参照してください。 | 文字列 |
| masterGroupConfiguration | Amazon EMR クラスターのマスターインスタンスグループの設定。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 参照オブジェクト (“configuration”: {“ref”:
“myEmrConfigurationId”} など) |
| masterEbsConfiguration | Amazon EMR クラスターのマスターグループの各マスターノードにアタッチされる Amazon EBS ボリュームの設定。詳細については、Linux インスタンス用 Amazon EC2 ユーザーガイドの EBS 最適化をサポートするインスタンスタイプを参照してください。 | 参照オブジェクト (“masterEbsConfiguration”: {“ref”:
“myEbsConfiguration”} など) |
| maxActiveInstances | コンポーネントで同時にアクティブになるインスタンスの最大数。再実行はアクティブなインスタンスの数にはカウントされません。 | 整数 |
| maximumRetries | 失敗時の最大再試行回数. | 整数 |
| onFail | 現在のオブジェクトが失敗したときに実行するアクション。 | 参照オブジェクト ("onFail":{"ref":"myActionId"} など) |
| onLateAction | オブジェクトが予定されていないか、まだ完了していない場合にトリガーされるアクション。 | 参照オブジェクト ("onLateAction":{"ref":"myActionId"} など) |
| onSuccess | 現在のオブジェクトが成功したときに実行するアクション。 | 参照オブジェクト ("onSuccess":{"ref":"myActionId"} など) |
| parent | スロットの継承元となる現在のオブジェクトの親。 | 参照オブジェクト ("parent":{"ref":"myBaseObjectId"} など) |
| pipelineLogUri | パイプラインのログをアップロードするための Amazon S3 URI (s3://BucketName/Key/ など)。 | 文字列 |
| region (リージョン) | Amazon EMR クラスターを実行するリージョンのコード。デフォルトでは、クラスターはパイプラインと同じリージョンで実行されます。依存するデータセットと同じリージョンでクラスターを実行することもできます。 | 一覧表 |
| releaseLabel | EMR クラスター用のリリースラベル。 | 文字列 |
| reportProgressTimeout | reportProgress へのリモート作業の連続した呼び出しのタイムアウト。設定された場合、指定された期間の進捗状況を報告しないリモートアクティビティは停止されたと見なし、再試行できます。 |
間隔 |
| resourceRole | AWS Data Pipeline が Amazon EMR クラスターを作成するときに使用する IAM ロール。デフォルトのロールは DataPipelineDefaultRole です。 |
文字列 |
| retryDelay | 2 回の再試行の間のタイムアウト期間。 | 間隔 |
| ロール | EC2 ノードを作成するために Amazon EMR に渡される IAM ロール。 | 文字列 |
| runsOn | このフィールドはこのオブジェクトでは使用できません。 | 参照オブジェクト ("runsOn":{"ref":"myResourceId"} など) |
| serviceAccessSecurityGroupId | Amazon EMR クラスターのサービスアクセスセキュリティグループの ID。 | 文字列。形式は sg-01XXXX6a です (例: sg-1234abcd)。 |
| scheduleType | スケジュールタイプでは、パイプライン定義のオブジェクトを間隔の最初にスケジュールするか、間隔の最後にスケジュールするかを指定できます。値は、cron、ondemand、および timeseries です。timeseries スケジューリングでは、インスタンスを各間隔の最後にスケジュールします。cron スケジューリングでは、インスタンスを各間隔の最初にスケジュールします。ondemand スケジュールにより、アクティベーションごとに 1 回パイプラインを実行することができます。パイプラインを再実行するために、クローンしたり再作成したりする必要はありません。ondemand スケジュールを使用する場合は、デフォルトオブジェクトで指定し、パイプラインのオブジェクトに対して指定される唯一の scheduleType である必要があります。ondemand パイプラインを使用するには、それ以降の実行ごとに、ActivatePipeline オペレーションを呼び出します。 |
一覧表 |
| subnetId | Amazon EMR クラスターを起動するサブネットの ID。 | 文字列 |
| supportedProducts | Amazon EMR クラスターにサードパーティーソフトウェアをインストールするパラメータ (Hadoop のサードパーティーディストリビューションなど)。 | 文字列 |
| taskInstanceBidPrice | 最大スポット料金は、 EC2 インスタンスに対して支払うスポット料金です。0～20.00 の 10 進数のみ。USD で指定。入札価格が指定されている場合、Amazon EMR では、インスタンスグループのスポットインスタンスが使用されます。 | 文字列 |
| taskInstanceCount | Amazon EMR クラスターで使用するタスクノードの数。 | 整数 |
| taskInstanceType | タスクノードに使用する Amazon EC2 インスタンスのタイプ。 | 文字列 |
| taskGroupConfiguration | Amazon EMR クラスターのタスクインスタンスグループの設定。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 参照オブジェクト (“configuration”: {“ref”:
“myEmrConfigurationId”} など) |
| taskEbsConfiguration | Amazon EMR クラスターのタスクグループの各タスクノードにアタッチされる Amazon EBS ボリュームの設定。詳細については、Linux インスタンス用 Amazon EC2 ユーザーガイドの EBS 最適化をサポートするインスタンスタイプを参照してください。 | 参照オブジェクト (“taskEbsConfiguration”: {“ref”:
“myEbsConfiguration”} など) |
| terminateAfter | これらの多くの時間が経過した後でリソースを終了します。 | 整数 |
| VolumeSpecification |
Amazon EMR クラスター内の Amazon EC2 インスタンスにアタッチされた Amazon EBS ボリュームに要求される Amazon EBS ボリューム仕様 (ボリュームタイプ、IOPS、サイズ (GiB) など)。ノードは、コア、マスター、またはタスクノードです。
|
参照オブジェクト (“VolumeSpecification”: {“ref”:
“myVolumeSpecification”} など) |
| useOnDemandOnLastAttempt | リソースをリクエストする最後の試行で、スポットインスタンスではなくオンデマンドインスタンスのリクエストを作成します。これにより、以前の試行がすべて失敗した場合に、最後の試行は中断されません。 | [Boolean] (ブール値) |
| workerGroup | このオブジェクトで使用できないフィールド. | 文字列 |
| 実行時フィールド | 説明 | スロットタイプ |
|---|---|---|
| @activeInstances | 現在スケジュールされているアクティブなインスタンスオブジェクトのリスト。 | 参照オブジェクト ("activeInstances":{"ref":"myRunnableObjectId"} など) |
| @actualEndTime | このオブジェクトの実行が終了した時刻。 | DateTime |
| @actualStartTime | このオブジェクトの実行が開始された時刻。 | DateTime |
| cancellationReason | このオブジェクトがキャンセルされた場合の cancellationReason。 | 文字列 |
| @cascadeFailedOn | オブジェクトが失敗した依存関係のチェーンの説明。 | 参照オブジェクト ("cascadeFailedOn":{"ref":"myRunnableObjectId"} など) |
| emrStepLog | Amazon EMR アクティビティの試行でのみ使用可能なステップログ。 | 文字列 |
| errorId | このオブジェクトが失敗した場合はエラー ID。 | 文字列 |
| errorMessage | このオブジェクトが失敗した場合はエラーメッセージ。 | 文字列 |
| errorStackTrace | このオブジェクトが失敗した場合は、エラースタックトレース。 | 文字列 |
| @failureReason | リソースの失敗の理由。 | 文字列 |
| @finishedTime | このオブジェクトが実行を終了した時刻。 | DateTime |
| hadoopJobLog | Amazon EMR アクティビティで試みることができる Hadoop ジョブのログ。 | 文字列 |
| @healthStatus | 終了状態に達した最後のオブジェクトインスタンスの成功または失敗を反映する、オブジェクトのヘルスステータス。 | 文字列 |
| @healthStatusFromInstanceId | 終了状態に達した最後のインスタンスオブジェクトの ID。 | 文字列 |
| @healthStatusUpdatedTime | ヘルス状態が最後に更新された時間。 | DateTime |
| hostname | タスクの試行を取得したクライアントのホスト名。 | 文字列 |
| @lastDeactivatedTime | このオブジェクトが最後に非アクティブ化された時刻。 | DateTime |
| @latestCompletedRunTime | 実行が完了した最後の実行の時刻。 | DateTime |
| @latestRunTime | 実行がスケジュールされた最後の実行の時刻。 | DateTime |
| @nextRunTime | 次回にスケジュールされた実行の時刻。 | DateTime |
| reportProgressTime | リモートアクティビティで進捗状況が報告された最新の時刻。 | DateTime |
| @scheduledEndTime | オブジェクトの予定された終了時刻. | DateTime |
| @scheduledStartTime | オブジェクトの予定された開始時刻. | DateTime |
| @status | このオブジェクトのステータス。 | 文字列 |
| @バージョン | オブジェクトが作成されたパイプラインのバージョン。 | 文字列 |
| @waitingOn | このオブジェクトが待機している依存関係のリストの説明。 | 参照オブジェクト ("waitingOn":{"ref":"myRunnableObjectId"} など) |
| システムフィールド | 説明 | スロットタイプ |
|---|---|---|
| @error | 形式が正しくないオブジェクトを説明するエラー. | 文字列 |
| @pipelineId | このオブジェクトが属するパイプラインの ID。 | 文字列 |
| @sphere | ライフサイクル内のオブジェクトの場所です。コンポーネントオブジェクトにより、試行オブジェクトを実行するインスタンスオブジェクトが発生します。 | 文字列 |
以下の資料も参照してください。
