Aggiungere file JAR e configurazione Spark personalizzata

Quando crei o modifichi una sessione in Amazon Athena per Apache Spark, puoi utilizzare le proprietà Spark per specificare file .jar, pacchetti o un'altra configurazione personalizzata per la sessione. Per specificare le proprietà di Spark, puoi utilizzare la console Athena, o AWS CLI l'API Athena.

Utilizzo della console Athena per specificare le proprietà Spark

Nella console Athena, puoi specificare le proprietà di Spark quando crei un notebook o modifichi una sessione corrente.

Come aggiungere proprietà nella finestra di dialogo Crea notebook o Modifica dettagli della sessione

1. Espandi le proprietà Spark.

2. Per aggiungere le tue proprietà, utilizza l'opzione Modifica nella tabella o Modifica in JSON.

   • Per l'opzione Modifica nella tabella, seleziona Aggiungi proprietà per aggiungere una proprietà o seleziona Rimuovi per rimuovere una proprietà. Utilizza le caselle Chiave e Valore per inserire i nomi delle proprietà e i relativi valori.

     • Per aggiungere un file .jar personalizzato, utilizza la proprietà spark.jars.

     • Per specificare un file pacchetto, utilizza la proprietà spark.jars.packages.

   • Per inserire e modificare direttamente la configurazione, seleziona l'opzione Modifica in JSON. Nell'editor di testo JSON, puoi eseguire le seguenti attività:

     • Seleziona Copia per copiare il testo JSON negli appunti.

     • Seleziona Cancella per rimuovere tutto il testo dall'editor JSON.

     • Scegli l'icona delle impostazioni (ingranaggio) per configurare la disposizione delle linee o scegli un tema di colore per l'editor JSON.

Note

• Puoi impostare le proprietà in Athena per Spark, il che equivale a impostare le proprietà Spark direttamente su un oggetto SparkConf.

• Avvia tutte le proprietà Spark con il prefisso spark.. Le proprietà con altri prefissi vengono ignorate.

• Non tutte le proprietà Spark sono disponibili per la configurazione personalizzata su Athena. Se invii una richiesta StartSession con una configurazione limitata, la sessione non viene avviata.

  • Non è possibile utilizzare il prefisso spark.athena. perché è riservato.

Utilizzo dell'API AWS CLI o Athena per fornire una configurazione personalizzata

Per utilizzare l'API AWS CLI o Athena per fornire la configurazione della sessione, utilizza l'azione API StartSession o il ocmando CLI start-session. Nella richiesta StartSession, utilizza il campo SparkProperties dell'oggetto EngineConfiguration per passare le informazioni di configurazione in formato JSON. Questo avvia una sessione con la configurazione specificata. Per la sintassi della richiesta, consulta StartSession nella Guida di riferimento dell'API di Amazon Athena .

Risoluzione degli errori di avvio della sessione

Quando si verifica un errore di configurazione personalizzato durante l'avvio di una sessione, la console Athena for Spark mostra un banner con un messaggio di errore. Per risolvere gli errori di avvio della sessione, puoi controllare la modifica dello stato della sessione o le informazioni di registrazione.

Visualizzazione delle informazioni sulla modifica dello stato della sessione

Puoi ottenere dettagli sulla modifica dello stato della sessione dall'editor di notebook Athena o dall'API Athena.

Per visualizzare le informazioni sullo stato della sessione nella console Athena

1. Nell'editor notebook di Athena, nel menu Sessione in alto a destra, scegli Vedi dettagli.

2. Visualizza la scheda Sessione corrente. La sezione Informazioni sessione mostra informazioni come l'ID della sessione, il gruppo di lavoro, lo stato e il motivo del cambio di stato.

   La seguente schermata d'esempio mostra le informazioni nella sezione Motivo modifica stato della finestra di dialogo Informazioni sessione per un errore di sessione Spark in Athena.

   

Per visualizzare le informazioni sullo stato della sessione utilizzando l'API Athena

• Nell'API Athena, puoi trovare informazioni sulla modifica dello stato della sessione nel campo StateChangeReason dell'oggetto SessionStatus.

Nota

Dopo aver interrotto manualmente una sessione o se la sessione si interrompe dopo un timeout di inattività (l'impostazione predefinita è 20 minuti), il valore di StateChangeReason cambia in Sessione terminata a seguito richiesta.

Utilizzo della registrazione per risolvere gli errori di avvio della sessione

Gli errori di configurazione personalizzati che si verificano durante l'avvio di una sessione vengono registrati da Amazon CloudWatch. Nel tuo CloudWatch Logs, cerca i messaggi di errore da AthenaSparkSessionErrorLogger per risolvere un avvio non riuscito della sessione.

Per ulteriori informazioni sulla registrazione di log su Spark, consulta Registrazione di log di evento dell'applicazione Spark in Athena.

Per ulteriori informazioni sulla risoluzione dei problemi delle sessioni in Athena per Spark, consulta Risoluzione dei problemi delle sessioni.