Ottimizza i lavori di Spark in Studio EMR

Quando esegui un job Spark utilizzando EMR Studio, puoi eseguire alcuni passaggi per assicurarti di ottimizzare le risorse del EMR cluster Amazon.

Prolunga la tua sessione Livy

Se usi Apache Livy insieme a Spark sul tuo EMR cluster Amazon, ti consigliamo di aumentare il timeout della sessione Livy effettuando una delle seguenti operazioni:

• Quando crei un EMR cluster Amazon, imposta questa classificazione di configurazione nel campo Enter Configuration.

  [
      {
          "Classification": "livy-conf",
          "Properties": {
            "livy.server.session.timeout": "8h"
          }
      }
  ]            

• Per un EMR cluster già in esecuzione, connettiti al cluster utilizzando ssh e imposta la classificazione della livy-conf configurazione. /etc/livy/conf/livy.conf

  [
      {
          "Classification": "livy-conf",
          "Properties": {
            "livy.server.session.timeout": "8h"
          }
      }
  ]            

  Potrebbe essere necessario riavviare Livy dopo aver modificato la configurazione.

• Se non vuoi che la tua sessione di Livy venga scaduta, imposta la proprietà livy.server.session.timeout-check a false in /etc/livy/conf/livy.conf.

Esecuzione di Spark in modalità cluster

In modalità cluster, il driver Spark viene eseguito su un nodo principale anziché sul nodo primario, il che migliora l'utilizzo delle risorse sul nodo primario.

Per eseguire l'applicazione Spark in modalità cluster anziché in modalità client predefinita, scegli la modalità Cluster quando imposti la modalità Deploy durante la configurazione della fase Spark nel tuo nuovo cluster Amazon. EMR Per ulteriori informazioni, consulta Panoramica della modalità cluster nella documentazione di Apache Spark.

Aumento della memoria del driver Spark

Per aumentare la memoria del driver Spark, configura la sessione Spark usando il comando %%configure magico sul tuo EMR notebook, come nell'esempio seguente.

%%configure -f
{"driverMemory": "6000M"}