Hinzufügen von Schritten zu einem Cluster mit dem AWS CLI

Die folgenden Verfahren zeigen, wie Sie Schritte zu einem neu erstellten Cluster und zu einem aktiven Cluster mit der AWS CLI hinzufügen. In beiden Beispielen wird der Unterbefehl --steps verwendet, um Schritte zum Cluster hinzuzufügen.

So fügen Sie Schritte während der Clustererstellung hinzu

• Geben Sie den folgenden Befehl ein, um einen Cluster zu erstellen und einen Apache Pig-Schritt hinzuzufügen. Stellen Sie sicher, dass Sie es ersetzen myKey mit dem Namen Ihres EC2 Amazon-Schlüsselpaars.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  Anmerkung

  Die Liste der Argumente ändert sich je nach Art des Schritts.

  Standardmäßig ist Nebenläufigkeitsstufe für Schritte 1. Sie können die Nebenläufigkeitsstufe für Schritte festlegen, indem Sie den StepConcurrencyLevel-Parameter beim Erstellen eines Clusters verwenden.

  Die Ausgabe ist eine Cluster-Kennung ähnlich der folgenden.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

So fügen Sie einen Schritt einem aktiven Cluster hinzu

• Geben Sie den folgenden Befehl ein, um einen Schritt zu einem aktiven Cluster hinzuzufügen. Ersetzen Sie j-2AXXXXXXGAPLF durch die ID Ihres eigenen Clusters.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  Die Ausgabe ist eine Schrittkennung ähnlich der folgenden.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

Um das StepConcurrencyLevel in einem laufenden Cluster zu ändern

1. In einem laufenden Cluster können Sie den StepConcurrencyLevel mit dem ändern ModifyClusterAPI. Geben Sie beispielsweise den folgenden Befehl ein, um dieStepConcurrencyLevel für Schritte auf 10 zu erhöhen. Ersetzen Sie j-2AXXXXXXGAPLF durch die ID Ihres Clusters.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. Die Ausgabe sieht folgendermaßen oder ähnlich aus.

   {
   "StepConcurrencyLevel": 10
   }

Weitere Informationen zur Verwendung von EMR Amazon-Befehlen in der AWS CLI finden Sie in der AWS CLI Befehlsreferenz.