Erreurs de cluster Hive

Vous pouvez généralement trouver la cause d'une erreur Hive dans le fichier syslog, dont le lien est disponible dans le volet Étapes. Si vous ne pouvez pas déterminer le problème grâce à ce fichier, vérifiez le message d'erreur de la tentative de tâche Hadoop. Vous y accédez grâce au lien disponible dans le volet Tentatives de tâche.

Les erreurs suivantes sont communes aux clusters Hive.

Utilisez-vous la dernière version de Hive ?

La dernière version de Hive comporte tous les correctifs et correctifs de bogues actuels, ce qui peut résoudre votre problème.

Avez-vous rencontré une erreur de syntaxe dans le script Hive ?

Si une étape échoue, consultez le fichier stdout des journaux relatifs à l'étape dans laquelle le script Hive a été exécuté. Si l'erreur n'est pas indiquée dans ce fichier, consultez le fichier syslog des journaux de la tentative de tâche qui a échoué. Pour de plus amples informations, veuillez consulter Afficher les fichiers journaux .

Une tâche a-t-elle échoué lors d'une exécution interactive ?

Si vous exécutez Hive de façon interactive sur le nœud principal et si le cluster a échoué, consultez les entrées du journal syslog dans le journal des tentatives de tâche afin d'identifier la tentative de tâche qui a échoué. Pour de plus amples informations, veuillez consulter Afficher les fichiers journaux .

Rencontrez-vous des problèmes de chargement de données vers ou depuis Amazon S3 dans Hive ?

Si vous rencontrez des difficultés pour accéder aux données dans Amazon S3, commencez par vérifier les causes possibles répertoriées dans Rencontrez-vous des difficultés lors du chargement des données vers ou depuis Amazon S3 ?. Si aucun de ces problèmes n'est à l'origine, vous pouvez utiliser les options spécifiques à Hive suivantes.

• Veillez à utiliser la dernière version de Hive qui comporte tous les correctifs et correctifs de bogues actuels qui peuvent résoudre votre problème. Pour plus d'informations, consultez Apache Hive.

• L'utilisation de INSERT OVERWRITE nécessite l'affichage du contenu du compartiment ou du dossier Amazon S3. Il s'agit d'une opération coûteuse. Si possible, réduisez manuellement le chemin d'accès plutôt que de faire répertorier et supprimer des objets existants par Hive.

• Si vous utilisez des versions d'Amazon antérieures à la EMR version 5.0, vous pouvez utiliser la commande suivante dans HiveQL pour pré-mettre en cache les résultats d'une opération de liste Amazon S3 localement sur le cluster :

  set hive.optimize.s3.query=true;

• Si possible, utilisez des partitions statiques.

• Dans certaines versions de Hive et AmazonEMR, il est possible que l'utilisation ALTER TABLES échoue car la table est stockée dans un emplacement différent de celui prévu par Hive. La solution consiste à ajouter ou mettre à jour les éléments suivants dans /home/hadoop/conf/core-site.xml:

  <property>
      <name>fs.s3n.endpoint</name>
      <value>s3.amazonaws.com</value>
  </property>