Hive-Cluster-Fehler

Den Grund für einen Hive-Fehler finden Sie in der Regel in der Datei syslog, auf die Sie im Bereich Steps (Schritte) zugreifen können. Wenn Sie das Problem nicht ermitteln können, sehen Sie sich die Fehlermeldung für die versuchte Hadoop-Aufgabe an. Erstellen Sie einen Link dahin im Abschnitt Task Attempts (Aufgaben-Versuche).

Die folgenden Fehler treten häufig bei Hive-Clustern auf.

Verwenden Sie die neueste Version von Hive?

Die neueste Version von Hive verfügt über alle aktuellen Patches und Fehlerbehebungen und kann Ihr Problem lösen.

Ist im Hive-Skript ein Syntaxfehler aufgetreten?

Wenn ein Schritt fehlschlägt, sehen Sie sich die Datei stdout der Protokolle für den Schritt an, die das Hive-Skript ausgeführt hat. Wenn der Fehler nicht vorhanden ist, sehen Sie sich die Datei syslog der Aufgabenprotokolle für die versuchte Aufgabe an, die fehlgeschlagen ist. Weitere Informationen finden Sie unter Anzeige von -Protokolldateien.

Ist ein interaktiv ausgeführter Auftrag fehlgeschlagen?

Wenn Sie Hive interaktiv auf dem Master-Knoten ausführen und der Cluster fehlschlägt, sehen Sie sich die Einträge syslog im Aufgabenprotokoll für die fehlgeschlagene Aufgabe an. Weitere Informationen finden Sie unter Anzeige von -Protokolldateien.

Haben Sie Probleme beim Laden von Daten in oder aus Amazon S3 in Hive?

Falls Sie Probleme mit dem Zugriff auf Daten in Amazon S3 haben, überprüfen Sie zuerst die möglichen Ursachen, die in Haben Sie Probleme beim Laden von Daten in oder aus Amazon S3? aufgeführt sind. Wenn keines dieser Probleme die Ursache ist, ziehen Sie die folgenden, für Hive spezifischen Optionen in Betracht.

• Stellen Sie sicher, dass Sie die neueste Version von Hive verwenden, die über alle aktuellen Patches und Fehlerbehebungen verfügt, die Ihr Problem lösen können. Weitere Informationen finden Sie unter Apache Hive.

• Wenn Sie INSERT OVERWRITE verwenden, müssen Sie die Inhalte des Amazon-S3-Buckets oder -Ordners auflisten. Dies ist eine teure Operation. Wenn möglich, optimieren Sie den Pfad manuell die vorhandenen Objekte von Hive auflisten und löschen zu lassen.

• Wenn Sie EMR Amazon-Release-Versionen vor 5.0 verwenden, können Sie den folgenden Befehl in HiveQL verwenden, um die Ergebnisse einer Amazon S3-Listenoperation lokal auf dem Cluster vorab zwischenzuspeichern:

  set hive.optimize.s3.query=true;

• Verwenden Sie statische Partitionen, wenn möglich.

• In einigen Versionen von Hive und Amazon ist es möglichEMR, dass die Verwendung ALTER TABLES fehlschlägt, weil die Tabelle an einem anderen Ort als von Hive erwartet gespeichert ist. Die Lösung ist, Folgendes in /home/hadoop/conf/core-site.xml hinzuzufügen oder zu aktualisieren:

  <property>
      <name>fs.s3n.endpoint</name>
      <value>s3.amazonaws.com</value>
  </property>