Activation d'Amazon EMR WAL

PDFRSS

Suivez les étapes suivantes pour activer l'écriture sur le WAL Amazon EMR lorsque vous créez un cluster avec le. AWS Command Line Interface

Note

Vous ne pouvez pas activer Amazon EMR WAL pour un cluster déjà en cours d'exécution, et vous ne pouvez pas lancer deux clusters avec le même répertoire racine S3. Pour de plus amples informations, veuillez consulter Considérations et régions relatives à Amazon EMR WAL.

1. Avant de créer un cluster compatible Amazon EMR WAL, vous devez ajouter les autorisations requises au profil d'instance que vous prévoyez d'utiliser avec votre cluster. Pour de plus amples informations, veuillez consulter Autorisations requises pour Amazon EMR WAL.

2. Créez un cluster à partir du AWS CLI. Utilisez --configurations cette option pour fournir un objet de configuration JSON qui spécifie la hbase.emr.wal.enabled propriété, comme illustré dans l'exemple ci-dessous.

   • Spécifiez le mode de stockage et l'emplacement du répertoire racine dans Amazon S3. L'emplacement Amazon S3 que vous spécifiez doit se trouver dans la même région que votre cluster EMR, mais un seul cluster actif peut utiliser le même répertoire HBase racine dans S3 à la fois.

   • Créez votre cluster avec la configuration des groupes d'instances. Vous ne pouvez pas utiliser Amazon EMR WAL avec la configuration des flottes d'instances. Pour plus d'informations sur la création de clusters avec des groupes d'instances, consultez Configurer des groupes d'instances uniformes dans le guide de gestion Amazon EMR.

   • Pour connaître les étapes de création d'un cluster sur console, ainsi qu'un create-cluster exemple détaillé utilisant le AWS CLI, voir Création d'un cluster avec HBase.

3. Pour activer WAL pour le nouveau cluster, définissez la hbase.emr.wal.enabled propriété surtrue. La commande suivante contient un extrait de code JSON avec un exemple d'objet de configuration.

   aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \
   --applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \
   --instance-type m6i.xlarge --instance-count 1 --configurations hbase.json
   $cat hbase.json
   [
       {
           "Classification": "hbase-site",
           "Properties": {
               "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
           }
       },
       {
           "Classification": "hbase",
           "Properties": {
               "hbase.emr.storageMode": "s3",
               "hbase.emr.wal.enabled": "true"
           }
       }
   ]        

Lorsqu'il HBase est en ligne sur le cluster nouvellement créé, il écrit HBase automatiquement les données WAL sur le Amazon EMR WAL et utilise le Amazon EMR WAL à des fins de restauration.

Exemple 1 : Création d'un cluster EMR utilisant Amazon EMR WAL

[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]        

Exemple 2 : Création d'un cluster EMR avec un espace de travail WAL personnalisé

[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore",
            "emr.wal.workspace": "customWorkspaceName"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]