Ajout de fichiers JAR et de la configuration personnalisée de Spark

Lorsque vous créez ou modifiez une session dans Amazon Athena pour Apache Spark, vous pouvez utiliser les propriétés Spark pour spécifier des fichiers .jar, des packages ou une autre configuration personnalisée pour la session. Pour spécifier vos propriétés Spark, vous pouvez utiliser la console Athena, l'AWS CLI, ou l'API Athena.

Utilisation de la console Athena pour spécifier les propriétés Spark

Dans la console Athena, vous pouvez spécifier vos propriétés Spark lorsque vous créez un bloc-notes ou modifiez une session en cours.

Pour ajouter des propriétés dans la boîte de dialogue Créer un bloc-notes ou Modifier les détails de la session

1. Développez les propriétés Spark.

2. Pour ajouter vos propriétés, utilisez l'option Modifier dans la table ou Modifier dans JSON.

   • Pour l'option Modifier dans la table, choisissez Ajouter une propriété pour ajouter une propriété, ou choisissez Supprimer pour supprimer une propriété. Utilisez les champs Clé et Valeur pour saisir les noms des propriétés et leurs valeurs.

     • Pour ajouter un fichier .jar personnalisé, utilisez la propriété spark.jars.

     • Utilisez la propriété spark.jars.packages pour spécifier un fichier de package.

   • Pour saisir et modifier directement votre configuration, choisissez l'option Modifier dans JSON. Dans l'éditeur de texte JSON, vous pouvez effectuer les tâches suivantes :

     • Choisissez Copier pour copier le texte JSON dans le presse-papier.

     • Choisissez Effacer pour supprimer tout le texte de l'éditeur JSON.

     • Choisissez l'icône des paramètres (engrenage) pour configurer l'encapsulage des lignes ou choisissez un thème de couleur pour l'éditeur JSON.

Remarques

• Vous pouvez définir des propriétés dans Athena pour Spark, ce qui revient à définir les propriétés Spark directement sur un objet SparkConf.

• Commencez toutes les propriétés Spark par le préfixe spark.. Les propriétés comportant d'autres préfixes sont ignorées.

• Les propriétés Spark ne sont pas toutes disponibles pour une configuration personnalisée sur Athena. Si vous soumettez une demande StartSession dont la configuration est restreinte, la session ne démarre pas.

  • Vous ne pouvez pas utiliser le préfixe spark.athena. car il est réservé.

Utilisation de l'AWS CLI ou de l'API Athena pour fournir une configuration personnalisée

Pour utiliser l'AWS CLI ou l'API Athena afin de configurer votre session, utilisez l'action d'API StartSession ou la commande CLI start-session. Dans votre demande StartSession, utilisez le champ SparkProperties de l'objet EngineConfiguration pour transmettre vos informations de configuration au format JSON. Cela démarre une session avec la configuration spécifiée. Pour connaître la syntaxe des demandes, consultez StartSession dans la Référence d'API Amazon Athena.

Résolution des erreurs de démarrage de session

Lorsqu'une erreur de configuration personnalisée se produit lors du démarrage d'une session, la console Athena pour Spark affiche une bannière de message d'erreur. Pour résoudre les erreurs de démarrage de session, vous pouvez vérifier le changement d'état de la session ou les informations de journalisation.

Affichage des informations de changement d'état de la session

Vous pouvez obtenir des informations sur un changement d'état de session à partir de l'éditeur de bloc-notes Athena ou de l'API Athena.

Pour afficher les informations sur l'état de session dans la console Athena

1. Dans l'éditeur de bloc-notes Athena, dans le menu Session en haut à droite, choisissez Afficher les détails.

2. Consultez l'onglet Session en cours. La section Informations de session affiche des informations telles que l'ID de session, le groupe de travail, le statut et le motif du changement d'état.

   L'exemple de capture d'écran suivant montre les informations contenues dans la section Motif du changement d'état de la boîte de dialogue Informations de session pour une erreur de session Spark dans Athena.

   

Pour afficher les informations sur l'état de la session à l'aide de l'API Athena

• Dans l'API Athena, vous pouvez trouver les informations de changement d'état de la session dans le champ StateChangeReason de l'objet SessionStatus.

Note

Après avoir arrêté manuellement une session, ou si la session s'arrête après un délai d'inactivité (la valeur par défaut est de 20 minutes), la valeur de StateChangeReason passe à La session a été arrêtée par demande.

Utilisation de la journalisation pour résoudre les erreurs de démarrage de session

Les erreurs de configuration personnalisées qui se produisent lors du démarrage d'une session sont journalisées par Amazon CloudWatch. Dans vos journaux CloudWatch Logs, recherchez les messages d'erreur provenant de AthenaSparkSessionErrorLogger pour résoudre les problèmes liés à l'échec du démarrage d'une session.

Pour plus d'informations sur la journalisation Spark, consultez Journalisation des événements de l'application Spark dans Athena.

Pour plus d'informations sur la résolution des problèmes des sessions dans Athena pour Spark, consultez Résolution des problèmes liés aux sessions.