翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
EmrCluster
Amazon EMR クラスターの設定を表します。このオブジェクトはEmrActivityおよびHadoopActivityクラスターを起動するには
Schedulers
スケジューラーは、Hadoop クラスター内のリソースの割り当てとジョブの優先順位付けを指定する方法を提供します。管理者またはユーザーは、ユーザーおよびアプリケーションのクラス別のスケジューラーを選択できます。スケジューラーは、キューを使用してユーザーおよびアプリケーションにリソースを割り当てることができます。キューは、クラスターを作成する際に設定します。次に、特定のタイプの作業やユーザー間の優先順位を設定できます。これにより、クラスターのリソースが効率的に使用され、複数のユーザーから作業をクラスターに送信できるようになります。次の 3 種類のスケジューラーを使用できます。
-
FairScheduler
— 長期間にわたってリソースの均等なスケジュールを試みます。 -
CapacityScheduler
— キューを使用して、クラスター管理者がさまざまな優先順位とリソース割り当てのキューにユーザーを割り当てられるようにします。 -
Default — クラスターで使用されます。サイトで設定可能です。
Amazon EMR リリースバージョン
Amazon EMR リリースは、ビッグデータエコシステムからの一連のオープンソースのアプリケーションです。各リリースは異なるビッグデータアプリケーション、コンポーネント、および機能で構成され、クラスターを作成するときに
Amazon EMR でインストールして設定することを選択します。リリースラベルを使用してリリースバージョンを指定します。リリースラベルの形式は emr- です。たとえば、x.x.xemr-5.30.0 と指定します。リリースラベルに基づく Amazon EMR クラスターemr-4.0.0を使用し、後でreleaseLabelのリリースラベルを指定するプロパティをEmrClusterオブジェクト。以前のバージョンでは、amiVersion プロパティを使用しています。
リリースバージョン 5.22.0 以降を使用して作成されたすべての Amazon EMR クラスターは、署名バージョン 4Amazon S3 へのリクエストを認証します。以前の一部のリリースバージョンでは、署名バージョン 2 を使用しています。署名バージョン 2 のサポートは中止されています。詳細については、「Amazon S3 更新 - SigV2 の非推奨期間の延長および変更
考慮事項と制約事項
最新バージョンの Task Runner を使用する
自己管理型のEmrClusterリリースラベルを使用して、最新の Task Runner を使用します。Task Runner の詳細については、「Task Runner」を参照してください。Amazon EMR 設定のすべての分類に対してプロパティ値を設定できます。詳細については、「」を参照してください。アプリケーションの設定()Amazon EMR リリース ガイドとすると、EmrConfiguration, およびPropertyオブジェクト参照です。
Amazon EMR 6x シリーズのリリースバージョン
AWS Data Pipelineはリリースバージョン 6.1.0 (emr-6.1.0) のみをサポートします。
Amazon EMR 6.1.0 リリースおよび Hadoop 3.x のジャーの依存関係
Amazon EMR 6.x リリースシリーズでは、Hadoop バージョン 3.x が使用され、Hadoop のクラスパスが Hadoop バージョン 2.x と比較される評価方法に重大な変更が加えられました。Joda-Timeのような共通ライブラリがクラスパスから削除されました。
もしEmrActivityまたはHadoopActivityが Hadoop 3.x で削除されたライブラリに依存している Jar ファイルを実行すると、java.lang.NoClassDefFoundErrorまたはjava.lang.ClassNotFoundException。これは、Amazon EMR 5.x リリースバージョンを使用して問題なく実行された Jar ファイルで発生する可能性があります。
この問題を解決するには、Jar ファイルの依存関係を Hadoop クラスパスにコピーする必要があります。EmrClusterオブジェクトを開始する前にEmrActivityまたはHadoopActivity。これを行うためのbashスクリプトを提供します。bash スクリプトは、次の場所で使用可能です。MyRegionである。AWSリージョンEmrClusterオブジェクトの実行 (など)us-west-2。
s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh
スクリプトの実行方法は、EmrActivityまたはHadoopActivityによって管理されたリソースで実行されるAWS Data Pipelineまたは自己管理型リソース上で実行されます。
によって管理されるリソースを使用する場合AWS Data Pipelineを追加するにはbootstrapActionをEmrClusterオブジェクト。-bootstrapActionは、引数としてコピーするスクリプトと Jar ファイルを指定します。最大 255 個のを追加できますbootstrapActionあたりのフィールドEmrClusterオブジェクトを追加し、bootstrapActionフィールドをEmrClusterすでにブートストラップアクションを持つオブジェクトです。
このスクリプトをブートストラップアクションとして指定するには、次の構文を使用します。JarFileRegionは Jar ファイルが保存されるリージョンであり、各マイジャーファイルnは、Hadoop クラスパスにコピーされる Jar ファイルの Amazon S3 内の絶対パスです。デフォルトでは、Hadoop クラスパスにある Jar ファイルは指定しないでください。
s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]
次の例では、Amazon S3 で 2 つの Jar ファイルをコピーするブートストラップアクションを指定します。my-jar-file.jarとemr-dynamodb-tool-4.14.0-jar-with-dependencies.jar。この例で使用されているリージョン (Region) は us-west-2 です。
{ "id" : "MyEmrCluster", "type" : "EmrCluster", "keyPair" : "my-key-pair", "masterInstanceType" : "m5.xlarge", "coreInstanceType" : "m5.xlarge", "coreInstanceCount" : "2", "taskInstanceType" : "m5.xlarge", "taskInstanceCount": "2", "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"] }
変更するには、パイプラインを保存してアクティブ化する必要があります。bootstrapActionが有効になります。
自己管理型リソースを使用する場合は、スクリプトをクラスターインスタンスにダウンロードし、コマンドラインから SSH を使用して実行できます。スクリプトは、という名前のディレクトリを作成します。/etc/hadoop/conf/shellprofile.dという名前のファイルdatapipeline-jars.shディレクトリにを実行します。コマンドライン引数として提供される jar ファイルは、スクリプトが/home/hadoop/datapipeline_jars。クラスターの設定が異なる場合は、ダウンロード後にスクリプトを適切に変更します。
コマンドラインでスクリプトを実行するための構文は、bootstrapAction前の例で示した。次の例に示すように、引数の間にはコンマの代わりにスペースを使用します。
./copy-jars-to-hadoop-classpath.shus-west-2s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar
Amazon EMR アクセス許可
カスタム IAM ロールを作成する場合は、クラスターが作業を実行するために必要な最小限のアクセス権限を慎重に検討します。Amazon S3 のファイルや Amazon
RDS、Amazon Redshift、DynamoDB のデータなど、必要なリソースへのアクセス権を確実に付与します。visibleToAllUsers を False に設定する場合は、そのために必要なアクセス権限がロールに必要です。DataPipelineDefaultRole には、これらのアクセス権限がないことに注意してください。あなたは、の和集合を提供する必要がありますDefaultDataPipelineResourceRoleおよびDataPipelineDefaultRoleロールをEmrClusterオブジェクトロールを使用するか、この目的で独自のロールを作成します。
Syntax
| オブジェクト呼び出しフィールド | 説明 | スロットタイプ |
|---|---|---|
| schedule | このオブジェクトは、スケジュール期間の実行中に呼び出されます。このオブジェクトの依存関係の実行順序を設定するために、別のオブジェクトへのスケジュール参照を指定します。この要件を満たすには、オブジェクトのスケジュールを明示的に設定できます。たとえば、"schedule": {"ref":
"DefaultSchedule"} と指定します。ほとんどの場合、すべてのオブジェクトがそのスケジュールを継承するように、スケジュール参照をデフォルトのパイプラインオブジェクトに配置することをお勧めします。または、パイプラインにスケジュールのツリー
(マスタースケジュール内のスケジュール) がある場合は、スケジュール参照がある親オブジェクトを作成できます。オプションのスケジュール設定の例については、「https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html」を参照してください。
|
参照オブジェクト ( "schedule":{"ref":"myScheduleId"} など)
|
| オプションのフィールド | 説明 | スロットタイプ |
|---|---|---|
| actionOnResourceFailure | このリソースに対するリソースの失敗後に実行されるアクション。有効な値は retryall (指定した期間内にクラスターに対してすべてのタスクを再試行する) と retrynone です。
|
文字列 |
| actionOnTaskFailure | このリソースに対するタスクの失敗後に実行されるアクション。有効な値は "continue"（クラスターを終了しない）と "terminate" です。 | 文字列 |
| additionalMasterSecurityGroupIds | EMR クラスターの追加マスターセキュリティグループの ID (sg-01XXXX6a の形式)。詳細については、「」を参照してください。Amazon EMR 追加のセキュリティグループ()Amazon EMR マネジメントガイド。 | 文字列 |
| additionalSlaveSecurityGroupIds | EMR クラスターの追加スレーブセキュリティグループの ID（sg-01XXXX6a の形式）。
|
文字列 |
| amiVersion | クラスターノードをインストールするために Amazon EMR で使用する Amazon マシンイメージ（AMI）のバージョン。詳細については、Amazon EMR 管理ガイドを参照してください。 | 文字列 |
| applications | カンマ区切りの引数を指定してクラスターにインストールするアプリケーション。Hive と Pig がデフォルトでインストールされます。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 文字列 |
| attemptStatus | リモートアクティビティから最も最近報告されたステータス。 | 文字列 |
| attemptTimeout | リモートの作業完了のタイムアウト。設定された場合、設定された開始時間内に完了しなかったリモートアクティビティを再試行することができます。 | 間隔 |
| availabilityZone | クラスターを実行するアベイラビリティーゾーン。 | 文字列 |
| bootstrapAction | クラスターの開始時に実行するアクション。カンマで区切って引数を指定できます。アクションを複数（最大 255 個）指定するには、bootstrapAction フィールドを複数追加します。ブートストラップアクションを使用しないでクラスターを開始するのが、デフォルトの動作です。
|
文字列 |
| 設定 | Amazon EMR クラスターの設定。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 参照オブジェクト ("configuration":{"ref":"myEmrConfigurationId"} など)
|
| coreInstanceBidPrice | Amazon EC2 インスタンスに対して支払うことができるスポット上限価格。入札価格が指定されている場合、Amazon EMR では、インスタンスグループのスポットインスタンスが使用されます。USD で指定。 | 文字列 |
| coreInstanceCount | クラスターに使用するコアノードの数。 | 整数 |
| coreInstanceType | コアノードに使用する Amazon EC2 インスタンスのタイプ。「Amazon EMR クラスターでサポートされている Amazon EC2 インスタンス 」を参照してください。 | 文字列 |
| coreGroupConfiguration | Amazon EMR クラスターのコアインスタンスグループの設定。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 参照オブジェクト (“configuration”: {“ref”:
“myEmrConfigurationId”} など)
|
| coreEbsConfiguration | Amazon EMR クラスターのコアグループの各コアノードにアタッチされる Amazon EBS ボリュームの設定。詳細については、「」を参照してください。EBS 最適化Support インスタンスタイプ()Linux インスタンス用 Amazon EC2 ユーザーガイド。 | 参照オブジェクト (“coreEbsConfiguration”: {“ref”:
“myEbsConfiguration”} など)
|
| CustomAMI ID | Amazon EMR リリースバージョン 5.7.0 以降にのみ適用されます。Amazon EMR が Amazon EC2 インスタンスをプロビジョニングするときに使用するカスタム AMI の AMI ID を指定します。また、ブートストラップアクションの代わりに使用して、クラスタノード構成をカスタマイズすることもできます。詳細については、Amazon EMR 管理ガイドの次のトピックを参照してください。カスタム AMI の使用 | 文字列 |
| EbsBlockDeviceConfig |
インスタンスグループに関連付けられる、要求された Amazon EBS ブロックデバイスの設定。指定したボリューム数をインスタンスグループ内の各インスタンスに関連付けるための
|
参照オブジェクト (“EbsBlockDeviceConfig”: {“ref”:
“myEbsBlockDeviceConfig”} など)
|
| emrManagedMasterSecurityGroupId | Amazon EMR クラスターのマスターセキュリティグループの ID (の形式)。sg-01XXXX6a。詳細については、「」を参照してください。セキュリティグループの設定()Amazon EMR マネジメントガイド。
|
文字列 |
| emrManagedSlaveSecurityGroupId | Amazon EMR クラスターのスレーブセキュリティグループの ID (の形式)。sg-01XXXX6a。
|
文字列 |
| enableDebugging | Amazon EMR クラスターでのデバッグを有効にします。 | 文字列 |
| failureAndRerunMode | 依存関係が失敗または再実行されたときのコンシューマーノードの動作を示します。 | 一覧表 |
| hadoopSchedulerType | クラスターのスケジューラータイプ。有効なタイプは、
PARALLEL_FAIR_SCHEDULING、
PARALLEL_CAPACITY_SCHEDULING、
DEFAULT_SCHEDULER です。
|
一覧表 |
| httpProxy | クライアントが AWS サービスに接続するために使用するプロキシホスト。 | 参照オブジェクト ("httpProxy":{"ref":"myHttpProxyId"} など) |
| initTimeout | リソースが起動するまでの待機時間。 | 間隔 |
| keyPair | Amazon EMR クラスターのマスターノードにログインするときに使用する Amazon EC2 key pair。 | 文字列 |
| lateAfterTimeout | オブジェクトが完了する必要があるパイプライン開始後の経過時間。これは、スケジュール・タイプがondemand。
|
間隔 |
| masterInstanceBidPrice | Amazon EC2 インスタンスに対して支払うことができるスポット上限価格。0～20.00 の 10 進数のみ (排他的) です。USD で指定。この値を設定すると、Amazon EMR クラスターマスターノードのスポットインスタンスが有効になります。入札価格が指定されている場合、Amazon EMR では、インスタンスグループのスポットインスタンスが使用されます。 | 文字列 |
| masterInstanceType | マスターノードに使用する Amazon EC2 インスタンスのタイプ。「Amazon EMR クラスターでサポートされている Amazon EC2 インスタンス 」を参照してください。 | 文字列 |
| masterGroupConfiguration | Amazon EMR クラスターのマスターインスタンスグループの設定。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 参照オブジェクト (“configuration”: {“ref”:
“myEmrConfigurationId”} など)
|
| masterEbsConfiguration | Amazon EMR クラスターのマスターグループの各マスターノードにアタッチされる Amazon EBS ボリュームの設定。詳細については、「」を参照してください。EBS 最適化Support インスタンスタイプ()Linux インスタンス用 Amazon EC2 ユーザーガイド。 | 参照オブジェクト (“masterEbsConfiguration”: {“ref”:
“myEbsConfiguration”} など)
|
| maxActiveInstances | コンポーネントで同時にアクティブになるインスタンスの最大数。再実行はアクティブなインスタンスの数にはカウントされません。 | 整数 |
| maximumRetries | 失敗時の最大再試行回数. | 整数 |
| onFail | 現在のオブジェクトが失敗したときに実行するアクション。 | 参照オブジェクト ("onFail":{"ref":"myActionId"} など)
|
| onLateAction | オブジェクトが予定されていないか、まだ完了していない場合にトリガーされるアクション。 | 参照オブジェクト ("onLateAction":{"ref":"myActionId"} など)
|
| onSuccess | 現在のオブジェクトが成功したときに実行するアクション。 | 参照オブジェクト ("onSuccess":{"ref":"myActionId"} など)
|
| parent | スロットの継承元となる現在のオブジェクトの親。 | 参照オブジェクト ("parent":{"ref":"myBaseObjectId"} など)
|
| pipelineLogUri | パイプラインのログをアップロードするための Amazon S3 URI (s3: //BucketName/Key/ など)。 | 文字列 |
| リージョン | Amazon EMR クラスターを実行するリージョンのコード。デフォルトでは、クラスターはパイプラインと同じリージョンで実行されます。依存するデータセットと同じリージョンでクラスターを実行することもできます。 | 一覧表 |
| releaseLabel | EMR クラスター用のリリースラベル。 | 文字列 |
| reportProgressTimeout | reportProgress へのリモート作業の連続した呼び出しのタイムアウト。設定された場合、指定された期間の進捗状況を報告しないリモートアクティビティは停止されたと見なし、再試行できます。
|
間隔 |
| resourceRole | その IAM ロールAWS Data PipelineAmazon EMR クラスターを作成するときに使用します。デフォルトのロールは DataPipelineDefaultRole です。
|
文字列 |
| retryDelay | 2 回の再試行の間のタイムアウト期間。 | 間隔 |
| ロール | EC2 ノードを作成するために Amazon EMR に渡される IAM ロール。 | 文字列 |
| runsOn | このフィールドはこのオブジェクトでは使用できません。 | 参照オブジェクト ("runsOn":{"ref":"myResourceId"} など)
|
| serviceAccessSecurityGroupId | Amazon EMR クラスターのサービスアクセスセキュリティグループの ID。 | 文字列。形式は sg-01XXXX6a です (例: sg-1234abcd)。
|
| scheduleType | スケジュールタイプでは、パイプライン定義のオブジェクトを間隔の最初にスケジュールするか、間隔の最後にスケジュールするかを指定できます。値は、cron、ondemand、および timeseries です。timeseries スケジューリングでは、インスタンスを各間隔の最後にスケジュールします。cron スケジューリングでは、インスタンスを各間隔の最初にスケジュールします。ondemand スケジュールにより、アクティベーションごとに 1 回パイプラインを実行することができます。パイプラインを再実行するために、クローンしたり再作成したりする必要はありません。ondemand スケジュールを使用する場合は、デフォルトオブジェクトで指定し、パイプラインのオブジェクトに対して指定される唯一の scheduleType である必要があります。ondemand パイプラインを使用するには、それ以降の実行ごとに、ActivatePipeline オペレーションを呼び出します。
|
一覧表 |
| subnetId | Amazon EMR クラスターを起動するサブネットの ID。 | 文字列 |
| supportedProducts | Amazon EMR クラスターにサードパーティーソフトウェアをインストールするパラメータ (Hadoop のサードパーティーディストリビューションなど)。 | 文字列 |
| taskInstanceBidPrice | 最大スポット料金は、 EC2 インスタンスに対して支払うスポット料金です。0～20.00 の 10 進数のみ。USD で指定。入札価格が指定されている場合、Amazon EMR では、インスタンスグループのスポットインスタンスが使用されます。 | 文字列 |
| taskInstanceCount | Amazon EMR クラスターに使用するタスクノードの数。 | 整数 |
| taskInstanceType | タスクノードに使用する Amazon EC2 インスタンスのタイプ。 | 文字列 |
| taskGroupConfiguration | Amazon EMR クラスターのタスクインスタンスグループの設定。このパラメータは Amazon EMR バージョン 4.0 以降でのみ適用できます。 | 参照オブジェクト (“configuration”: {“ref”:
“myEmrConfigurationId”} など)
|
| taskEbsConfiguration | Amazon EMR クラスターのタスクグループの各タスクノードにアタッチされる Amazon EBS ボリュームの設定。詳細については、「」を参照してください。EBS 最適化Support インスタンスタイプ()Linux インスタンス用 Amazon EC2 ユーザーガイド。 | 参照オブジェクト (“taskEbsConfiguration”: {“ref”:
“myEbsConfiguration”} など)
|
| terminateAfter | これらの多くの時間が経過した後でリソースを終了します。 | 整数 |
| VolumeSpecification |
Amazon EBS ボリューム仕様。Amazon EMR クラスター内の Amazon EC2 インスタンスにアタッチされた Amazon EBS ボリュームに要求されるボリュームタイプ、IOPS、サイズ (GiB) などが含まれます。ノードは、コア、マスター、またはタスクノードです。
|
参照オブジェクト (“VolumeSpecification”: {“ref”:
“myVolumeSpecification”} など)
|
| useOnDemandOnLastAttempt | リソースをリクエストする最後の試行で、スポットインスタンスではなくオンデマンドインスタンスのリクエストを作成します。これにより、以前の試行がすべて失敗した場合に、最後の試行は中断されません。 | Boolean |
| workerGroup | このオブジェクトで使用できないフィールド. | 文字列 |
| 実行時フィールド | 説明 | スロットタイプ |
|---|---|---|
| @activeInstances | 現在スケジュールされているアクティブなインスタンスオブジェクトのリスト。 | 参照オブジェクト ("activeInstances":{"ref":"myRunnableObjectId"} など) |
| @actualEndTime | このオブジェクトの実行が終了した時刻。 | DateTime |
| @actualStartTime | このオブジェクトの実行が開始された時刻。 | DateTime |
| cancellationReason | このオブジェクトがキャンセルされた場合の cancellationReason。 | 文字列 |
| @cascadeFailedOn | オブジェクトが失敗した依存関係のチェーンの説明。 | 参照オブジェクト ("cascadeFailedOn":{"ref":"myRunnableObjectId"} など) |
| emrStepLog | Amazon EMR アクティビティの試行でのみ使用可能なストップログ。 | 文字列 |
| errorId | このオブジェクトが失敗した場合はエラー ID。 | 文字列 |
| errorMessage | このオブジェクトが失敗した場合はエラーメッセージ。 | 文字列 |
| errorStackTrace | このオブジェクトが失敗した場合は、エラースタックトレース。 | 文字列 |
| @failureReason | リソースの失敗の理由。 | 文字列 |
| @finishedTime | このオブジェクトが実行を終了した時刻。 | DateTime |
| hadoopJobLog | Amazon EMR アクティビティで試みることができる Hadoop ジョブのログ。 | 文字列 |
| @healthStatus | 終了状態に達した最後のオブジェクトインスタンスの成功または失敗を反映する、オブジェクトのヘルスステータス。 | 文字列 |
| @healthStatusFromInstanceId | 終了状態に達した最後のインスタンスオブジェクトの ID。 | 文字列 |
| @healthStatusUpdatedTime | ヘルス状態が最後に更新された時間。 | DateTime |
| hostname | タスクの試行を取得したクライアントのホスト名。 | 文字列 |
| @lastDeactivatedTime | このオブジェクトが最後に非アクティブ化された時刻。 | DateTime |
| @latestCompletedRunTime | 実行が完了した最後の実行の時刻。 | DateTime |
| @latestRunTime | 実行がスケジュールされた最後の実行の時刻。 | DateTime |
| @nextRunTime | 次回にスケジュールされた実行の時刻。 | DateTime |
| reportProgressTime | リモートアクティビティで進捗状況が報告された最新の時刻。 | DateTime |
| @scheduledEndTime | オブジェクトの予定された終了時刻. | DateTime |
| @scheduledStartTime | オブジェクトの予定された開始時刻. | DateTime |
| @status | このオブジェクトのステータス。 | 文字列 |
| @バージョン | オブジェクトが作成されたパイプラインのバージョン。 | 文字列 |
| @waitingOn | このオブジェクトが待機している依存関係のリストの説明。 | 参照オブジェクト ("waitingOn":{"ref":"myRunnableObjectId"} など) |
| システムフィールド | 説明 | スロットタイプ |
|---|---|---|
| @error | 形式が正しくないオブジェクトを説明するエラー. | 文字列 |
| @pipelineId | このオブジェクトが属するパイプラインの ID。 | 文字列 |
| @sphere | ライフサイクル内のオブジェクトの場所です。コンポーネントオブジェクトにより、試行オブジェクトを実行するインスタンスオブジェクトが発生します。 | 文字列 |
以下の資料も参照してください。
