Menambahkan langkah-langkah ke cluster dengan AWS CLI

Prosedur berikut menunjukkan cara menambahkan langkah-langkah ke cluster yang baru dibuat dan ke cluster yang sedang berjalan dengan AWS CLI. Kedua contoh menggunakan --steps subperintah untuk menambahkan langkah-langkah ke cluster.

Untuk menambahkan langkah-langkah selama pembuatan klaster

• Ketik perintah berikut untuk membuat klaster dan menambahkan langkah Apache Pig. Pastikan untuk mengganti myKeydengan nama key pair Amazon EC2 Anda.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  catatan

  Daftar argumen berubah tergantung pada jenis langkah.

  Secara default, tingkat konkurensi langkah adalah 1. Anda dapat mengatur tingkat konkurensi langkah dengan StepConcurrencyLevel parameter saat Anda membuat cluster.

  Outputnya adalah pengidentifikasi klaster yang serupa dengan berikut ini.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

Untuk menambahkan langkah ke klaster berjalan

• Ketik perintah berikut untuk menambahkan langkah ke klaster berjalan. Ganti j-2AXXXXXXGAPLF dengan ID cluster Anda sendiri.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  Outputnya adalah pengidentifikasi langkah yang serupa dengan berikut ini.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

Untuk memodifikasi StepConcurrencyLevel dalam cluster yang sedang berjalan

1. Di cluster yang sedang berjalan, Anda dapat memodifikasi StepConcurrencyLevel dengan ModifyCluster API. Misalnya, ketik perintah berikut untuk meningkatkan StepConcurrencyLevel ke10. Ganti j-2AXXXXXXGAPLF dengan ID cluster Anda.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. Output Anda serupa dengan yang berikut ini.

   {
   "StepConcurrencyLevel": 10
   }

Untuk informasi selengkapnya tentang penggunaan perintah EMR Amazon di AWS CLI, lihat Referensi AWS CLI Perintah.