Luncurkan Amazon EMR Cluster dengan beberapa node utama

Topik ini memberikan detail konfigurasi dan contoh untuk meluncurkan EMR klaster Amazon dengan beberapa node utama.

catatan

Amazon EMR secara otomatis mengaktifkan perlindungan terminasi untuk semua cluster yang memiliki beberapa node utama, dan mengganti setelan penghentian otomatis apa pun yang Anda berikan saat membuat klaster. Untuk mematikan klaster dengan beberapa node primer, Anda harus terlebih dahulu memodifikasi atribut cluster untuk menonaktifkan perlindungan terminasi. Untuk petunjuk, silakan lihat Mengakhiri EMR Cluster Amazon dengan beberapa node utama.

Prasyarat

• Anda dapat meluncurkan EMR klaster Amazon dengan beberapa node utama di VPC subnet publik dan pribadi. EC2-Classic tidak didukung. Untuk meluncurkan EMR klaster Amazon dengan beberapa node primer di subnet publik, Anda harus mengaktifkan instance di subnet ini untuk menerima alamat IP publik dengan memilih Tetapkan otomatis IPv4 di konsol atau menjalankan perintah berikut. Ganti 22XXXX01 dengan subnet ID Anda.

  aws ec2 modify-subnet-attribute --subnet-id subnet-22XXXX01 --map-public-ip-on-launch					

• Untuk menjalankan Hive, Hue, atau Oozie di EMR klaster Amazon dengan beberapa node utama, Anda harus membuat metastore eksternal. Untuk informasi selengkapnya, lihat Mengonfigurasi metastore eksternal untuk Hive, Menggunakan Hue dengan database jarak jauh di Amazon RDS, atau Apache Oozie.

• Untuk menggunakan otentikasi Kerberos di cluster Anda, Anda harus mengkonfigurasi eksternal. KDC Untuk informasi selengkapnya, lihat Mengonfigurasi Kerberos di Amazon Amazon. EMR

Luncurkan Amazon EMR Cluster dengan beberapa node utama

Anda dapat meluncurkan klaster dengan beberapa node utama saat Anda menggunakan grup instans atau armada instance. Bila Anda menggunakan grup instance dengan beberapa node primer, Anda harus menentukan nilai hitungan instance 3 untuk grup instance node primer. Bila Anda menggunakan armada instance dengan beberapa node primer, Anda harus menentukan TargetOnDemandCapacity dari3, TargetSpotCapacity dari 0 untuk armada instance utama, dan WeightedCapacity 1 untuk setiap jenis instance yang Anda konfigurasikan untuk armada utama.

Contoh berikut menunjukkan cara meluncurkan cluster menggunakan default AMI atau kustom AMI dengan grup instance dan armada instance:

catatan

Anda harus menentukan ID subnet saat meluncurkan EMR klaster Amazon dengan beberapa node utama menggunakan AWS CLI. Ganti 22XXXX01 and 22XXXX02 dengan subnet ID Anda dalam contoh berikut.

Default AMI, instance groups

contoh Contoh - Meluncurkan cluster grup EMR instans Amazon dengan beberapa node primer menggunakan default AMI

aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark  

Default AMI, instance fleets

contoh Contoh - Meluncurkan cluster armada EMR instans Amazon dengan beberapa node primer menggunakan default AMI

aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
 --ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark	

Custom AMI, instance groups

contoh Contoh - Meluncurkan cluster grup EMR instans Amazon dengan beberapa node utama menggunakan kustom AMI

aws emr create-cluster \
--name "custom-ami-ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID  

Custom AMI, instance fleets

contoh Contoh - Meluncurkan cluster armada EMR instans Amazon dengan beberapa node utama menggunakan kustom AMI

aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID 

Mengakhiri EMR Cluster Amazon dengan beberapa node utama

Untuk mengakhiri EMR klaster Amazon dengan beberapa node utama, Anda harus menonaktifkan perlindungan terminasi sebelum mengakhiri klaster, seperti yang ditunjukkan contoh berikut. Ganti j-3KVTXXXXXX7UG dengan ID cluster Anda.

aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected
aws emr terminate-clusters --cluster-id j-3KVTXXXXXX7UG