Como habilitar o Amazon EMR WAL

PDFRSS

Use as etapas a seguir para habilitar a gravação no Amazon EMR WAL ao criar um cluster com a AWS Command Line Interface.

nota

Você não pode habilitar o Amazon EMR WAL para um cluster que já está em execução e iniciar dois clusters com o mesmo diretório raiz do S3. Para obter mais informações, consulte Considerações e regiões do Amazon EMR WAL.

1. Antes de criar um cluster habilitado para Amazon EMR WAL, você deve adicionar as permissões necessárias ao perfil de instância que planeja usar com o cluster. Para obter mais informações, consulte Permissões necessárias para o Amazon EMR WAL.

2. Crie um cluster com a AWS CLI. Use a opção --configurations para fornecer um objeto de configuração JSON que especifique a propriedade hbase.emr.wal.enabled, conforme mostrado no exemplo abaixo.

   • Especifique o modo de armazenamento e o local do diretório raiz no Amazon S3. A localização do Amazon S3 que você especificar deve estar na mesma região do seu cluster EMR, mas somente um cluster ativo pode usar o mesmo diretório HBase raiz no S3 por vez.

   • Crie um cluster com a configuração de grupos de instâncias. Você não pode usar o Amazon EMR WAL com a configuração de frotas de instâncias. Para obter mais informações sobre a criação de clusters com grupos de instâncias, consulte Configure uniform instance groups no Guia de gerenciamento do Amazon EMR.

   • Para ver as etapas do console para criar um cluster e um create-cluster exemplo detalhado que usa o AWS CLI, consulte Criação de um cluster com HBase.

3. Para habilitar o WAL no novo cluster, defina a propriedade hbase.emr.wal.enabled como true. O comando a seguir contém um trecho JSON com um exemplo de objeto de configuração.

   aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \
   --applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \
   --instance-type m6i.xlarge --instance-count 1 --configurations hbase.json
   $cat hbase.json
   [
       {
           "Classification": "hbase-site",
           "Properties": {
               "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
           }
       },
       {
           "Classification": "hbase",
           "Properties": {
               "hbase.emr.storageMode": "s3",
               "hbase.emr.wal.enabled": "true"
           }
       }
   ]        

Quando HBase estiver on-line no cluster recém-criado, HBase gravará automaticamente os dados do WAL no Amazon EMR WAL e usará o Amazon EMR WAL para fins de recuperação.

exemplo 1: Criação de um cluster do EMR que use o Amazon EMR WAL

[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]        

exemplo 2: Criação de um cluster do EMR com um Workspacede do WAL personalizado

[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore",
            "emr.wal.workspace": "customWorkspaceName"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]