Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Hinzufügen von Schritten zu einem Cluster mit dem AWS CLI
Die folgenden Verfahren zeigen, wie Sie Schritte zu einem neu erstellten Cluster und zu einem aktiven Cluster mit der AWS CLI hinzufügen. In beiden Beispielen wird der Unterbefehl --steps
verwendet, um Schritte zum Cluster hinzuzufügen.
So fügen Sie Schritte während der Clustererstellung hinzu
-
Geben Sie den folgenden Befehl ein, um einen Cluster zu erstellen und einen Apache Pig-Schritt hinzuzufügen. Stellen Sie sicher, dass Sie es ersetzen
mit dem Namen Ihres EC2 Amazon-Schlüsselpaars.myKey
aws emr create-cluster --name "
Test cluster
" \ --applications Name=Spark
\ --use-default-roles \ --ec2-attributes KeyName=myKey
\ --instance-groups InstanceGroupType=PRIMARY
,InstanceCount=1
,InstanceType=m5.xlarge
InstanceGroupType=CORE
,InstanceCount=2
,InstanceType=m5.xlarge
\ --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'Anmerkung
Die Liste der Argumente ändert sich je nach Art des Schritts.
Standardmäßig ist Nebenläufigkeitsstufe für Schritte
1
. Sie können die Nebenläufigkeitsstufe für Schritte festlegen, indem Sie denStepConcurrencyLevel
-Parameter beim Erstellen eines Clusters verwenden.Die Ausgabe ist eine Cluster-Kennung ähnlich der folgenden.
{ "ClusterId": "j-2AXXXXXXGAPLF" }
So fügen Sie einen Schritt einem aktiven Cluster hinzu
-
Geben Sie den folgenden Befehl ein, um einen Schritt zu einem aktiven Cluster hinzuzufügen. Ersetzen Sie
durch die ID Ihres eigenen Clusters.j-2AXXXXXXGAPLF
aws emr add-steps --cluster-id
j-2AXXXXXXGAPLF
\ --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'Die Ausgabe ist eine Schrittkennung ähnlich der folgenden.
{ "StepIds": [ "s-Y9XXXXXXAPMD" ] }
Um das StepConcurrencyLevel in einem laufenden Cluster zu ändern
-
In einem laufenden Cluster können Sie den
StepConcurrencyLevel
mit dem ändernModifyCluster
API. Geben Sie beispielsweise den folgenden Befehl ein, um dieStepConcurrencyLevel
für Schritte auf10
zu erhöhen. Ersetzen Sie
durch die ID Ihres Clusters.j-2AXXXXXXGAPLF
aws emr modify-cluster --cluster-id
j-2AXXXXXXGAPLF
--step-concurrency-level 10 -
Die Ausgabe sieht folgendermaßen oder ähnlich aus.
{ "StepConcurrencyLevel": 10 }
Weitere Informationen zur Verwendung von EMR Amazon-Befehlen in der AWS CLI finden Sie in der AWS CLI Befehlsreferenz.