Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Soumission d'une tâche exécutée avec StartJobRun
Pour soumettre une tâche, exécutez un JSON fichier avec des paramètres spécifiés
-
Créez un
start-job-run-request.json
fichier et spécifiez les paramètres requis pour l'exécution de votre tâche, comme le montre l'exemple de JSON fichier suivant. Pour de plus amples informations sur les paramètres, veuillez consulter Options de configuration d'une exécution de tâche.{ "name": "
myjob
", "virtualClusterId": "123456
", "executionRoleArn": "iam_role_name_for_job_execution
", "releaseLabel": "emr-6.2.0-latest
", "jobDriver": { "sparkSubmitJobDriver": { "entryPoint": "entryPoint_location
", "entryPointArguments": ["argument1
", "argument2
", ...], "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1" } }, "configurationOverrides": { "applicationConfiguration": [ { "classification": "spark-defaults", "properties": { "spark.driver.memory":"2G" } } ], "monitoringConfiguration": { "persistentAppUI": "ENABLED", "cloudWatchMonitoringConfiguration": { "logGroupName": "my_log_group
", "logStreamNamePrefix": "log_stream_prefix
" }, "s3MonitoringConfiguration": { "logUri": "s3://my_s3_log_location
" } } } } -
Utilisez la commande
start-job-run
avec un chemin d'accès au fichierstart-job-run-request.json
stocké localement.aws emr-containers start-job-run \ --cli-input-json
file://./start-job-run-request.json
Démarrage de l'exécution d'une tâche à l'aide la commande start-job-run
-
Fournissez tous les paramètres spécifiés dans la commande
StartJobRun
, comme le montre l'exemple ci-dessous.aws emr-containers start-job-run \ --virtual-cluster-id
123456
\ --namemyjob
\ --execution-role-arnexecution-role-arn
\ --release-labelemr-6.2.0-latest
\ --job-driver '{"sparkSubmitJobDriver": {"entryPoint": "entryPoint_location
", "entryPointArguments": ["argument1
", "argument2
", ...], "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1"}}' \ --configuration-overrides '{"applicationConfiguration": [{"classification": "spark-defaults", "properties": {"spark.driver.memory": "2G"}}], "monitoringConfiguration": {"cloudWatchMonitoringConfiguration": {"logGroupName": "log_group_name
", "logStreamNamePrefix": "log_stream_prefix
"}, "persistentAppUI":"ENABLED", "s3MonitoringConfiguration": {"logUri": "s3://my_s3_log_location
" }}}' -
Pour SparkSQL, fournissez tous les paramètres spécifiés dans la
StartJobRun
commande, comme le montre l'exemple suivant.aws emr-containers start-job-run \ --virtual-cluster-id
123456
\ --namemyjob
\ --execution-role-arnexecution-role-arn
\ --release-labelemr-6.7.0-latest
\ --job-driver '{"sparkSqlJobDriver": {"entryPoint": "entryPoint_location
", "sparkSqlParameters": "--conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1"}}' \ --configuration-overrides '{"applicationConfiguration": [{"classification": "spark-defaults", "properties": {"spark.driver.memory": "2G"}}], "monitoringConfiguration": {"cloudWatchMonitoringConfiguration": {"logGroupName": "log_group_name
", "logStreamNamePrefix": "log_stream_prefix
"}, "persistentAppUI":"ENABLED", "s3MonitoringConfiguration": {"logUri": "s3://my_s3_log_location
" }}}'