Kustomisasi periode batas waktu penyediaan untuk mengubah ukuran cluster di Amazon EMR - Amazon EMR
Contoh (AWS CLI)Pertimbangan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kustomisasi periode batas waktu penyediaan untuk mengubah ukuran cluster di Amazon EMR

Anda dapat menentukan periode batas waktu untuk menyediakan Instans Spot untuk setiap armada di klaster Anda. Jika Amazon EMR tidak dapat menyediakan kapasitas Spot, Amazon akan membatalkan permintaan pengubahan ukuran dan menghentikan upayanya untuk menyediakan kapasitas Spot tambahan. Saat membuat cluster, Anda dapat mengonfigurasi batas waktu. Untuk klaster yang sedang berjalan, Anda dapat menambahkan atau memperbarui batas waktu.

Ketika periode batas waktu berakhir, Amazon EMR secara otomatis mengirimkan acara ke aliran Acara Amazon. CloudWatch Dengan CloudWatch, Anda dapat membuat aturan yang cocok dengan peristiwa sesuai dengan pola yang ditentukan, dan kemudian merutekan peristiwa ke target untuk mengambil tindakan. Misalnya, Anda dapat mengonfigurasi aturan untuk mengirim pemberitahuan email. Untuk informasi selengkapnya tentang cara membuat aturan, lihatMembuat aturan untuk acara EMR Amazon dengan CloudWatch. Untuk informasi selengkapnya tentang detail acara yang berbeda, lihatInstance peristiwa perubahan negara armada.

Contoh batas waktu penyediaan untuk pengubahan ukuran klaster

Tentukan batas waktu penyediaan untuk mengubah ukuran dengan AWS CLI

Contoh berikut menggunakan create-cluster perintah untuk menambahkan batas waktu penyediaan untuk mengubah ukuran.

aws emr create-cluster \
--release-label emr-5.35.0 \
--service-role EMR_DefaultRole \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-XXXXX"]}' \
--instance-fleets '[{"InstanceFleetType":"MASTER","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"Master - 1"},{"InstanceFleetType":"CORE","TargetOnDemandCapacity":1,"TargetSpotCapacity":1,"LaunchSpecifications":{"SpotSpecification":{"TimeoutDurationMinutes":120,"TimeoutAction":"SWITCH_TO_ON_DEMAND"},"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"ResizeSpecifications":{"SpotResizeSpecification":{"TimeoutDurationMinutes":20},"OnDemandResizeSpecification":{"TimeoutDurationMinutes":25}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":1,"InstanceType":"m5.xlarge"}],"Name":"Core - 2"}]'

Contoh berikut menggunakan modify-instance-fleet perintah untuk menambahkan batas waktu penyediaan untuk mengubah ukuran.

aws emr modify-instance-fleet \
--cluster-id j-XXXXXXXXXXXXX \
--instance-fleet '{"InstanceFleetId":"if-XXXXXXXXXXXX","ResizeSpecifications":{"SpotResizeSpecification":{"TimeoutDurationMinutes":30},"OnDemandResizeSpecification":{"TimeoutDurationMinutes":60}}}' \
--region us-east-1

Contoh berikut menggunakan add-instance-fleet-command untuk menambahkan batas waktu penyediaan untuk mengubah ukuran.

aws emr add-instance-fleet \
--cluster-id j-XXXXXXXXXXXXX \
--instance-fleet '{"InstanceFleetType":"TASK","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"TaskFleet","ResizeSpecifications":{"SpotResizeSpecification":{"TimeoutDurationMinutes":30},"OnDemandResizeSpecification":{"TimeoutDurationMinutes":35}}}' \
--region us-east-1

Tentukan batas waktu penyediaan untuk mengubah ukuran dan peluncuran dengan AWS CLI

Contoh berikut menggunakan create-cluster perintah untuk menambahkan batas waktu penyediaan untuk mengubah ukuran dan peluncuran.

aws emr create-cluster \
--release-label emr-5.35.0 \
--service-role EMR_DefaultRole \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-XXXXX"]}' \
--instance-fleets '[{"InstanceFleetType":"MASTER","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"LaunchSpecifications":{"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"Master - 1"},{"InstanceFleetType":"CORE","TargetOnDemandCapacity":1,"TargetSpotCapacity":1,"LaunchSpecifications":{"SpotSpecification":{"TimeoutDurationMinutes":120,"TimeoutAction":"SWITCH_TO_ON_DEMAND"},"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"ResizeSpecifications":{"SpotResizeSpecification":{"TimeoutDurationMinutes":20},"OnDemandResizeSpecification":{"TimeoutDurationMinutes":25}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":1,"InstanceType":"m5.xlarge"}],"Name":"Core - 2"}]'

Pertimbangan untuk mengubah ukuran batas waktu penyediaan

Saat mengonfigurasi batas waktu penyediaan klaster untuk armada instans, pertimbangkan perilaku berikut.

  • Anda dapat mengonfigurasi batas waktu penyediaan untuk Instans Spot dan Sesuai Permintaan. Batas waktu penyediaan minimum adalah 5 menit. Batas waktu penyediaan maksimum adalah 7 hari.

  • Anda hanya dapat mengonfigurasi batas waktu penyediaan untuk klaster EMR yang menggunakan armada instance. Anda harus mengkonfigurasi setiap inti dan armada tugas secara terpisah.

  • Saat membuat klaster, Anda dapat mengonfigurasi batas waktu penyediaan. Anda dapat menambahkan batas waktu atau memperbarui batas waktu yang ada untuk klaster yang sedang berjalan.

  • Jika Anda mengirimkan beberapa operasi pengubahan ukuran, Amazon EMR melacak batas waktu penyediaan untuk setiap operasi pengubahan ukuran. Misalnya, atur batas waktu penyediaan pada klaster menjadi 60 menit. Kemudian, kirimkan operasi pengubahan ukuran R1 pada waktu T1. Kirim operasi pengubahan ukuran kedua R2 pada waktu T2. Batas waktu penyediaan untuk R1 berakhir pada T1 + 60 menit. Batas waktu penyediaan untuk R2 berakhir pada T2 + 60 menit.

  • Jika Anda mengirimkan operasi pengubahan ukuran skala baru sebelum batas waktu berakhir, Amazon EMR melanjutkan upayanya untuk menyediakan kapasitas untuk klaster EMR Anda.