Replica tra cluster EMR WAL

A partire da EMR 7.5, EMR WAL supporta la replica HBase tra cluster di log write-ahead. Questo argomento mostra come abilitare la funzionalità e verificarne il funzionamento. Per maggiori dettagli sulla replica in cluster, consulta Cluster Replication nella documentazione di Apache. HBase

Nota

I log write-ahead comportano costi di lettura aggiuntivi, poiché il processo di replica legge i dati dal WAL EMR locale. Per ulteriori dettagli sui costi, consulta About Amazon EMR Releases.

Configurazione della replica tra cluster

Per avere la stessa esperienza utente, l'abilitazione della funzionalità di replica su EMR WAL è la stessa dei log write-ahead nativi. HBase La procedura che segue mostra un semplice esempio. Per ulteriori informazioni, vedere la HBase documentazione in Cluster Replication.

1. Avvia un cluster primario, che è l'origine della replica, con EMR WAL abilitato. Per abilitare i log write-ahead, vedere. Attivazione di Amazon EMR WAL Inoltre, avvia un cluster di peer. Per questo cluster peer, puoi scegliere di abilitare EMR WAL o meno.

2. In entrambi i cluster, crea una tabella:

   HBASE_CMD="sudo -u hbase hbase"
   echo "create 'test_replication_table',{NAME => 'CF'}" | $HBASE_CMD shell

3. Aggiungi la configurazione peer sul cluster primario e abilita la replica delle tabelle. Durante l'aggiunta peer, è necessario il nome host del nodo master del cluster peer, che è PEER_DNS.

   HBASE_CMD="sudo -u hbase hbase"
   PEER_DNS="ip-10-1-1-0.ec2.com"
   PEER_NAME="aws"
   TABLE_NAME="test_replication_table"
   
   ## Create peering with the destination cluster
   echo "add_peer '$PEER_NAME', CLUSTER_KEY => '$PEER_DNS:2181:/hbase'" | $HBASE_CMD shell
   
   ## List peers in the primary cluster to confirm peer setup
   echo "list_peers" | $HBASE_CMD shell
   
   ## Enable table replication
   echo "enable_table_replication '$TABLE_NAME'" | $HBASE_CMD shell
   

Conferma della replica tra cluster

Dopo aver eseguito i passaggi di configurazione, la replica viene abilitata tra il cluster primario e il cluster peer. Segue un test che conferma il funzionamento della replica.

1. Aggiungi dati sul cluster primario e verifica i dati replicati nel cluster peer.

   ## Write on primary cluster with HBase CLI
   
   put 'test_replication_table', 'aaa', 'CF:a', 'aaa_a1'
   put 'test_replication_table', 'bbb', 'CF:b', 'bbb_b1'
   put 'test_replication_table', 'ccc', 'CF:c', 'ccc_c1'
   

2. Conferma la corretta replica sul cluster peer. In questo caso, dovresti vedere i dati replicati scritti dal cluster primario al cluster peer.

   ### Scan on peer cluster with HBase CLI
   
   scan 'test_replication_table'