Amazon EMR WAL aktivieren

Gehen Sie wie folgt vor, um das Schreiben in die Amazon EMR-WAL zu aktivieren, wenn Sie einen Cluster mit dem erstellen. AWS Command Line Interface

Anmerkung

Sie können Amazon EMR WAL nicht für einen Cluster aktivieren, der bereits läuft, und Sie können nicht zwei Cluster mit demselben S3-Stammverzeichnis starten. Weitere Informationen finden Sie unter Überlegungen und Regionen für Amazon EMR WAL.

1. Bevor Sie einen Amazon EMR-WAL-fähigen Cluster erstellen können, müssen Sie dem Instance-Profil, das Sie mit Ihrem Cluster verwenden möchten, die erforderlichen Berechtigungen hinzufügen. Weitere Informationen finden Sie unter Erforderliche Berechtigungen für Amazon EMR WAL.

2. Erstellen Sie einen Cluster aus dem AWS CLI. Verwenden Sie die --configurations Option, um ein JSON-Konfigurationsobjekt bereitzustellen, das die hbase.emr.wal.enabled Eigenschaft spezifiziert, wie im folgenden Beispiel gezeigt.

   • Geben Sie den Speichermodus und den Speicherort des Stammverzeichnisses in Amazon S3 an. Der Amazon S3-Standort, den Sie angeben, sollte sich in derselben Region wie Ihr EMR-Cluster befinden, aber nur ein aktiver Cluster kann dasselbe HBase-Stammverzeichnis in S3 gleichzeitig verwenden.

   • Erstellen Sie Ihren Cluster mit der Konfiguration der Instanzgruppen. Sie können Amazon EMR WAL nicht mit der Konfiguration der Instance-Flotten verwenden. Weitere Informationen zum Erstellen von Clustern mit Instanzgruppen finden Sie unter Configure uniform instance groups im Amazon EMR Management Guide.

   • Die Konsolenschritte zum Erstellen eines Clusters und ein detailliertes create-cluster Beispiel, das den verwendet AWS CLI, finden Sie unter Creating a cluster with HBase.

3. Um WAL für den neuen Cluster zu aktivieren, setzen Sie die hbase.emr.wal.enabled Eigenschaft auftrue. Der folgende Befehl enthält einen JSON-Snippet mit einem Beispielkonfigurationsobjekt.

   aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \
   --applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \
   --instance-type m6i.xlarge --instance-count 1 --configurations hbase.json
   $cat hbase.json
   [
       {
           "Classification": "hbase-site",
           "Properties": {
               "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
           }
       },
       {
           "Classification": "hbase",
           "Properties": {
               "hbase.emr.storageMode": "s3",
               "hbase.emr.wal.enabled": "true"
           }
       }
   ]        

Wenn HBase auf dem neu erstellten Cluster online ist, schreibt HBase automatisch WAL-Daten in die Amazon EMR-WAL und verwendet die Amazon EMR-WAL für Wiederherstellungszwecke.

Beispiel 1: Erstellen eines EMR-Clusters, das Amazon EMR WAL verwendet

[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]        

Beispiel 2: Erstellen eines EMR-Clusters mit einem benutzerdefinierten WAL-Workspace

[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore",
            "emr.wal.workspace": "customWorkspaceName"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]