Activation d'Amazon EMR WAL

Suivez les étapes suivantes pour activer l'écriture sur Amazon EMR WAL lorsque vous créez un cluster avec le AWS Command Line Interface.

Note

Vous ne pouvez pas activer Amazon EMR WAL pour un cluster déjà en cours d'exécution, et vous ne pouvez pas lancer deux clusters avec le même répertoire racine S3. Pour de plus amples informations, veuillez consulter Considérations et régions pour Amazon EMR WAL.

1. Avant de créer un cluster EMR WAL compatible avec Amazon, vous devez ajouter les autorisations requises au profil d'instance que vous prévoyez d'utiliser avec votre cluster. Pour de plus amples informations, veuillez consulter Autorisations requises pour Amazon EMR WAL.

2. Créez un cluster à partir du AWS CLI. Utilisez --configurations cette option pour fournir un objet JSON de configuration qui spécifie la hbase.emr.wal.enabled propriété, comme illustré dans l'exemple ci-dessous.

   • Spécifiez le mode de stockage et l'emplacement du répertoire racine dans Amazon S3. L'emplacement Amazon S3 que vous spécifiez doit se trouver dans la même région que votre EMR cluster, mais un seul cluster actif peut utiliser le même répertoire HBase racine dans S3 à la fois.

   • Créez votre cluster avec la configuration des groupes d'instances. Vous ne pouvez pas utiliser Amazon EMR WAL avec la configuration des flottes d'instances. Pour plus d'informations sur la création de clusters avec des groupes d'instances, consultez Configurer des groupes d'instances uniformes dans le Amazon EMR Management Guide.

   • Pour connaître les étapes de création d'un cluster sur console, ainsi qu'un create-cluster exemple détaillé utilisant le AWS CLI, voir Création d'un cluster avec HBase.

3. WALPour activer le nouveau cluster, définissez la hbase.emr.wal.enabled propriété surtrue. La commande suivante contient un JSON extrait de code avec un exemple d'objet de configuration.

   aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \
   --applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \
   --instance-type m6i.xlarge --instance-count 1 --configurations hbase.json
   $cat hbase.json
   [
       {
           "Classification": "hbase-site",
           "Properties": {
               "hbase.rootdir": "s3://MyBucket/MyHBaseStore"
           }
       },
       {
           "Classification": "hbase",
           "Properties": {
               "hbase.emr.storageMode": "s3",
               "hbase.emr.wal.enabled": "true"
           }
       }
   ]        

Lorsqu'il HBase est en ligne sur le cluster nouvellement créé, HBase il écrit automatiquement WAL des données sur Amazon EMR WAL et utilise l'Amazon EMR WAL à des fins de récupération.

Exemple 1 : Création d'un EMR cluster utilisant Amazon EMR WAL

[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://MyBucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]        

Exemple 2 : Création d'un EMR cluster avec un WAL espace de travail personnalisé

[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://MyBucket/MyHBaseStore",
            "emr.wal.workspace": "customWorkspaceName"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]