Considerazioni - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Considerazioni

Considera le seguenti limitazioni quando usi Hue su Amazon EMR.

Prestazioni con tabelle di metadati Hue di grandi dimensioni

Se il database dei metadati Hue diventa troppo grande, le prestazioni potrebbero peggiorare. Per verificare la dimensione delle tabelle, connettiti innanzitutto al nodo primario di Amazon EMR sul cluster Amazon EC2 con SSH ed esegui il comando sudo mysql -u root per avviare la CLI MySQL. Per ottenere la dimensione della tabella, esegui la query. SELECT COUNT(*) FROM hue.<table_name> Vedi quanto segue per sapere cosa <table_name>può essere:

  • desktop_document

  • documento_desktop2

  • oozie_job

  • beeswax_savedquery

  • beeswax_session

  • beeswax_queryhistory

Se l'esecuzione di tale query restituisce un conteggio superiore a 100000, è necessario eseguire il seguente comando di pulizia per eliminare i vecchi record.

cd /opt/cloudera/parcels/CDH/lib/hue # Hue home directory ./build/env/bin/hue desktop_document_cleanup

Per ulteriori informazioni sulla pulizia del database, consulta la pagina di riferimento nella documentazione di Hue.

Hue non pulisce automaticamente le tabelle, ma le versioni 5.12.0 e successive di Amazon EMR forniscono un metodo per eliminare i vecchi documenti nelle tabelle. Crea il seguente script di shell ed eseguilo come passaggio in un cluster Amazon EMR con un parametro intero che rappresenta il numero massimo di giorni di conservazione dei documenti nel database dei metadati.

#!/bin/bash if grep isMaster /mnt/var/lib/info/instance.json | grep false; then echo "This is not the primary node; do nothing, exiting" exit 0 fi while [ ! -f /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py ] do sleep 1 done sudo systemctl stop hue.service sudo sed -i 's+ LOG.warn+ # LOG.warn+g' /usr/lib/hue/desktop/core/src/desktop/management/commands/desktop_document_cleanup.py sudo /usr/lib/hue/build/env/bin/hue desktop_document_cleanup --keep-days $1 sudo systemctl start hue.service

Incompatibilità tra le versioni di Hue

Se utilizzi lo stesso database di metadati Hue su più cluster compatibili con Hue, consigliamo che questi cluster eseguano la stessa versione di Hue. Versioni diverse di Hue possono avere schemi diversi per il database di metadati Hue. L'utilizzo dello stesso database per versioni diverse può causare il fallimento dell'installazione di Hue. Ad esempio, il tentativo di utilizzare lo stesso database per due cluster con 4.10.0 e 4.11.0 installati può causare errori di accesso agli utenti che tentano di accedere al cluster 4.10.0.

Per un elenco delle etichette di rilascio di Amazon EMR e delle corrispondenti versioni installate di Hue, consulta la cronologia delle release di Hue.