Considerazioni

Considera le seguenti limitazioni quando utilizzi Hue su Amazon EMR.

Prestazioni con tabelle di metadati Hue di grandi dimensioni

Se il database dei metadati Hue diventa troppo grande, le prestazioni potrebbero peggiorare. Per verificare la dimensione delle tabelle, connettiti innanzitutto al nodo primario del EC2 cluster Amazon EMR su Amazon con SSH ed esegui il comando sudo mysql -u root per avviare la CLI MySQL. Per ottenere la dimensione della tabella, esegui la query. SELECT COUNT(*) FROM hue.<table_name> Vedi quanto segue per sapere cosa <table_name> può essere:

• desktop_document

• documento_desktop2

• oozie_job

• beeswax_savedquery

• beeswax_session

• cronologia di beeswax_query

Se l'esecuzione di tale query restituisce un conteggio superiore a 100000, è necessario eseguire il seguente comando di pulizia per eliminare i vecchi record.

cd /opt/cloudera/parcels/CDH/lib/hue # Hue home directory ./build/env/bin/hue desktop_document_cleanup

Per ulteriori informazioni sulla pulizia del database, consulta la pagina di riferimento nella documentazione di Hue.

Hue non pulisce automaticamente le tabelle, ma le versioni 5.12.0 e successive di Amazon EMR forniscono un metodo per eliminare i vecchi documenti nelle tabelle. Crea il seguente script di shell ed eseguilo come passaggio in un cluster Amazon EMR con un parametro intero che rappresenta il numero massimo di giorni di conservazione dei documenti nel database dei metadati.

#!/bin/bash
if grep isMaster /mnt/var/lib/info/instance.json | grep false;
then
  echo "This is not the primary node; do nothing, exiting"
  exit 0
fi
while [ ! -f /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py ]
do
  sleep 1
done
sudo systemctl stop hue.service
sudo sed -i 's+  LOG.warn+  # LOG.warn+g' /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py
sudo /usr/lib/hue/build/env/bin/hue desktop_document_cleanup --keep-days $1
sudo systemctl start hue.service

Incompatibilità tra le versioni di Hue

Se utilizzi lo stesso database di metadati Hue su più cluster compatibili con Hue, consigliamo che questi cluster eseguano la stessa versione di Hue. Versioni diverse di Hue possono avere schemi diversi per il database di metadati Hue. L'utilizzo dello stesso database per versioni diverse può causare il fallimento dell'installazione di Hue. Ad esempio, il tentativo di utilizzare lo stesso database per due cluster con 4.10.0 e 4.11.0 installati può causare errori di accesso agli utenti che tentano di accedere al cluster 4.10.0.

Per un elenco delle etichette di rilascio di Amazon EMR e delle corrispondenti versioni installate di Hue, consulta la cronologia delle release di Hue.