Amazon でのクラスター起動のプロビジョニングタイムアウトを設定する EMR

クラスター内の各フリートにスポットインスタンスをプロビジョニングするためのタイムアウト期間を定義できます。Amazon EMRがスポット容量をプロビジョニングできない場合は、代わりにクラスターを終了するか、オンデマンド容量をプロビジョニングするかを選択できます。クラスターのサイズ変更プロセス中にタイムアウト期間が終了すると、Amazon はプロビジョニングされていないスポットリクエストEMRをキャンセルします。プロビジョニングされていないスポットインスタンスは、オンデマンド容量に転送されません。

Amazon EMRコンソールでクラスター起動のプロビジョニングタイムアウト期間をカスタマイズするには、次の手順を実行します。

Console

コンソールでクラスターを作成するときにプロビジョニングタイムアウトを設定するには

1. にサインインする AWS Management Consoleで、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

2. 左側のナビゲーションペインの EMRでEC2、クラスター を選択し、クラスターの作成 を選択します。

3. [クラスターの作成] ページで [クラスター設定] に移動し、[インスタンスフリート] を選択します。

4. [クラスターのスケーリングとプロビジョニングのオプション] で、コアフリートとタスクフリートのスポットサイズを指定します。

5. [スポットタイムアウトの設定] で、[スポットタイムアウト後にクラスターを終了する] または [スポットタイムアウト後にオンデマンドに切り替える] のいずれかを選択します。次に、スポットインスタンスのプロビジョニングのタイムアウト期間を指定します。デフォルト値は 1 時間です。

6. クラスターに適用するその他のオプションを選択します。

7. 設定したタイムアウトを使用してクラスターを起動するには、[クラスターの作成] を選択します。

AWS CLI

create-cluster コマンドでプロビジョニングのタイムアウトを指定するには

aws emr create-cluster \
--release-label emr-5.35.0 \
--service-role EMR_DefaultRole \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-XXXXX"]}' \
--instance-fleets '[{"InstanceFleetType":"MASTER","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"LaunchSpecifications":{"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"Master - 1"},{"InstanceFleetType":"CORE","TargetOnDemandCapacity":1,"TargetSpotCapacity":1,"LaunchSpecifications":{"SpotSpecification":{"TimeoutDurationMinutes":120,"TimeoutAction":"SWITCH_TO_ON_DEMAND"},"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":1,"InstanceType":"m5.xlarge"}],"Name":"Core - 2"}]'