Errori del cluster Hive

In genere, puoi trovare la causa di un errore Hive nel file syslog, a cui ti colleghi dal riquadro Steps (Fasi). Se non riesci a determinare il problema, controlla nel messaggio di errore del tentativo di attività Hadoop tramite il riquadro Task Attempts (Tentativi attività).

I seguenti errori sono comuni ai cluster Hive.

Stai usando la versione più recente di Hive?

La versione più recente di Hive contiene tutte le patch e le correzioni dei bug correnti e può risolvere il problema.

Hai rilevato un errore di sintassi nello script Hive?

Se una fase non riesce, cerca nel file stdout dei log la fase che ha eseguito lo script Hive. Se l'errore non esiste, cerca nel file syslog dei log dei tentativi di attività il tentativo di attività non riuscito. Per ulteriori informazioni, consulta Visualizzare file di log di .

Un processo non è riuscito durante l'esecuzione in modalità interattiva?

Se stai eseguendo Hive in maniera interattiva sul nodo master e il cluster non è riuscito, nel log dei tentativi di attività cerca le voci syslog relative al tentativo di attività non riuscito. Per ulteriori informazioni, consulta Visualizzare file di log di .

Si stanno verificando problemi di caricamento dei dati in e da Amazon S3 in Hive?

Se si verificano problemi di accesso ai dati in Amazon S3, controlla innanzitutto le possibili cause elencate in Si stanno verificando problemi di caricamento dei dati in e da Amazon S3?. Se nessuno di questi problemi è la causa, considera le seguenti opzioni specifiche di Hive.

• Assicurati di utilizzare la versione più recente di Hive che contiene tutte le patch correnti e le correzioni dei bug che possono risolvere il problema. Per ulteriori informazioni, consulta Apache Hive.

• L'uso di INSERT OVERWRITE richiede l'elenco dei contenuti della cartella o del bucket Amazon S3. Questa è un'operazione costosa. Se possibile, elimina manualmente il percorso anziché lasciare che sia Hive a elencare ed eliminare gli oggetti esistenti.

• Se utilizzi EMR versioni di Amazon precedenti alla 5.0, puoi utilizzare il seguente comando in HiveQL per pre-memorizzare nella cache i risultati di un'operazione di elenco Amazon S3 localmente sul cluster:

  set hive.optimize.s3.query=true;

• Ove possibile, utilizza partizioni statiche.

• In alcune versioni di Hive e AmazonEMR, è possibile che l'utilizzo non ALTER TABLES riesca perché la tabella è archiviata in una posizione diversa da quella prevista da Hive. La soluzione è aggiungere o aggiornare seguendo in /home/hadoop/conf/core-site.xml:

  <property>
      <name>fs.s3n.endpoint</name>
      <value>s3.amazonaws.com</value>
  </property>