Configurazione HBase

PDFRSS

Sebbene le HBase impostazioni predefinite dovrebbero funzionare per la maggior parte delle applicazioni, è possibile modificare le impostazioni HBase di configurazione. A tale scopo, utilizzate le proprietà delle classificazioni di HBase configurazione. Per ulteriori informazioni, consulta Configurazione delle applicazioni.

L'esempio seguente crea un cluster con una directory HBase principale alternativa basata su un file di configurazionemyConfig.json, archiviato in Amazon S3.

Nota

I caratteri di continuazione della riga Linux (\) sono inclusi per questioni di leggibilità. Possono essere rimossi o utilizzati nei comandi Linux. Per Windows, rimuoverli o sostituirli con un accento circonflesso (^).

aws emr create-cluster --release-label emr-7.7.0 --applications Name=HBase \
--instance-type m5.xlarge --instance-count 3 --configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json

Il file myConfig.json specifica la proprietà hbase.rootdir per la classificazione della configurazione hbase-site come mostrato nel seguente esempio. Sostituisci ip-XXX-XX-XX-XXX.ec2.internal con il nome host DNS interno del nodo primario del cluster.

[
  {
    "Classification":"hbase-site",
    "Properties": {
       "hbase.rootdir": "hdfs://ip-XXX-XX-XX-XXX.ec2.internal:8020/user/myCustomHBaseDir"
    }
  }
]

Nota

Con Amazon EMR versione 5.21.0 e successive, puoi sovrascrivere le configurazioni del cluster e specificare classificazioni di configurazione aggiuntive per ogni gruppo di istanze in un cluster in esecuzione. A tale scopo, puoi utilizzare la console Amazon EMR, AWS Command Line Interface (AWS CLI) o l' AWS SDK. Per ulteriori informazioni, consulta Specifica di una configurazione per un gruppo di istanze in un cluster in esecuzione.

Modifiche apportate all'allocazione di memoria in YARN

HBase non è in esecuzione come applicazione YARN, quindi è necessario ricalcolare la memoria allocata a YARN e alle sue applicazioni, il che comporta una riduzione della memoria complessiva disponibile per YARN se installato. HBase È necessario tenerne conto quando si pianifica di collocare contemporaneamente le applicazioni YARN e negli stessi cluster. HBase I tipi di istanza con meno di 64 GB di memoria hanno metà della memoria disponibileNodeManager, che viene quindi allocata a. HBase RegionServer Ad esempio, i tipi con memoria superiore a 64 GB, HBase RegionServer la memoria è limitata a 32 GB. Come regola generale, la memoria delle impostazioni YARN è un multiplo della memoria di lavoro del MapReduce riduttore.

Le tabelle riportate Valori predefiniti per le impostazioni di configurazione delle attività mostrano le modifiche alle impostazioni di YARN in base alla memoria necessaria per. HBase

HBase numeri di porta

Alcuni numeri di porta scelti HBase sono diversi da quelli predefiniti. Di seguito sono riportate le interfacce e le porte per HBase Amazon EMR.

HBase porte

Interfaccia	Porta	Protocollo
HMaster	16000	TCP
HMaster INTERFACCIA UTENTE	16010	HTTP
RegionServer	16020	TCP
RegionServer Informazioni	16030	HTTP
Server REST	8070	HTTP
IU REST	8085	HTTP
Server Thrift	9090	TCP
Thrift server UI	9095	HTTP

Importante

La kms-http-port è 9700 e la kms-admin-port è 9701 in Amazon EMR versione 4.6.0 e successive.

HBase impostazioni del sito da ottimizzare

È possibile configurare alcune o tutte le impostazioni del HBase sito per ottimizzare il HBase cluster per il carico di lavoro dell'applicazione. Ti consigliamo le seguenti impostazioni come punto di partenza nella tua indagine.

zookeeper.session.timeout

Il timeout predefinito è 40 secondi (40000 ms). Se un server della regione si arresta in modo anomalo, questo è il tempo impiegato dal server master per notare l'assenza del server della regione e avviare il ripristino. Per accelerare il ripristino del server master, puoi ridurre questo valore a un periodo di tempo più breve. Nell'esempio seguente vengono utilizzati 30 secondi o 30000 ms:

[
  {
    "Classification":"hbase-site",
    "Properties": {
       "zookeeper.session.timeout": "30000"
    }
  }
]

hbase.regionserver.handler.count

Definisce il numero di thread che vengono mantenuti aperti dal server della regione per servire richieste a tabelle. L'impostazione predefinita di 10 è bassa, in modo da impedire agli utenti di interrompere i propri server della regione durante l'utilizzo di buffer di scrittura di grandi dimensioni con un numero elevato di client simultanei. La regola generale è quella di mantenere questo numero basso quando il payload per richiesta si avvicina all'intervallo di MB (inserimenti grandi, scansioni utilizzando una cache di grandi dimensioni) e alto quando il payload è piccolo (get, small put ed elimina). ICVs Nell'esempio seguente il numero di thread aperti viene aumentato a 30:

[
  {
    "Classification":"hbase-site",
    "Properties": {
       "hbase.regionserver.handler.count": "30"
    }
  }
]

hbase.hregion.max.filesize

Questo parametro controlla le dimensioni, in byte, delle singole regioni. Per impostazione predefinita, è impostato su 1073741824. Se stai scrivendo molti dati nel HBase cluster e ciò causa frequenti suddivisioni, puoi aumentare questa dimensione per ingrandire le singole regioni. Ciò consente di ridurre le suddivisioni ma richiede più tempo per bilanciare il carico delle regioni da un server a un altro.

[
  {
    "Classification":"hbase-site",
    "Properties": {
       "hbase.hregion.max.filesize": "1073741824"
    }
  }
]

hbase.hregion.memstore.flush.size

Questo parametro controlla le dimensioni massime di memstore, in byte, prima che venga svuotato nel disco. Per impostazione predefinita, tale valore è 134217728. Se il carico di lavoro è costituito da brevi picchi di operazioni di scrittura, potrebbe essere necessario aumentare questo limite in modo che tutte le scritture rimangono in memoria durante il picco e vengano svuotate nel disco più tardi. Ciò può incrementare le prestazioni durante i picchi.

[
  {
    "Classification":"hbase-site",
    "Properties": {
       "hbase.hregion.memstore.flush.size": "134217728"
    }
  }
]