Configurar a visualização consistente

PDFRSS

Você pode definir configurações adicionais para a visualização consistente usando propriedades de configuração para propriedades do emrfs-site. Por exemplo, você pode escolher um throughput do DynamoDB diferente fornecendo os seguintes argumentos para a opção --emrfs da CLI usando a classificação da configuração do emrfs-site (somente Amazon EMR versão 4.x ou posterior) ou uma ação de bootstrap para configurar o arquivo emrfs-site.xml no nó principal:

exemplo Alterar os valores de leitura e gravação de metadados padrão na execução do cluster

aws emr create-cluster --release-label emr-7.7.0 --instance-type m5.xlarge \
--emrfs Consistent=true,Args=[fs.s3.consistent.metadata.read.capacity=600,\
fs.s3.consistent.metadata.write.capacity=300] --ec2-attributes KeyName=myKey

Como alternativa, use o seguinte arquivo de configuração e salve-o localmente ou no Amazon S3:

[
    {
      "Classification": "emrfs-site",
      "Properties": {
        "fs.s3.consistent.metadata.read.capacity": "600",
        "fs.s3.consistent.metadata.write.capacity": "300"
      }
    }
 ]

Use a configuração que você criou com a seguinte sintaxe:

aws emr create-cluster --release-label emr-7.7.0 --applications Name=Hive \
--instance-type m5.xlarge --instance-count 2 --configurations file://./myConfig.json

nota

Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

As opções a seguir podem ser definidas usando configurações ou AWS CLI --emrfs argumentos. Para obter mais informações sobre esses argumentos, consulte AWS CLI Command Reference.

Propriedades emrfs-site.xml para a visualização consistente

Propriedade	Valor padrão	Descrição
fs.s3.consistent	false	Quando definida como true, essa propriedade configura o EMRFS usar o DynamoDB para fornecer consistência.
fs.s3.consistent.retryPolicyType	exponential	Essa propriedade identifica a política a ser usada em caso de novas tentativas para problemas de consistência. As opções incluem: exponential, fixed ou none.
fs.s3.consistent.retryPeriodSeconds	1	Essa propriedade define o tempo de espera entre tentativas de repetição de consistência.
fs.s3.consistent.retryCount	10	Essa propriedade define o número máximo de tentativas quando é detectada uma inconsistência.
fs.s3.consistent.throwExceptionOnInconsistency	true	Essa propriedade determina se uma exceção de consistência deve ser lançada ou registrada. Quando definida como true, um ConsistencyException é lançado.
fs.s3.consistent.metadata.autoCreate	true	Quando definida como true, essa propriedade permite a criação automática de tabelas de metadados.
fs.s3.consistent.metadata.etag.verification.enabled	true	Com o Amazon EMR 5.29.0, essa propriedade é habilitada por padrão. Quando ativado, o EMRFS usa o S3 ETags para verificar se os objetos que estão sendo lidos são a versão mais recente disponível. Esse recurso é útil para casos de read-after-update uso em que os arquivos no S3 estão sendo sobrescritos, mantendo o mesmo nome. Atualmente, esse recurso de ETag verificação não funciona com o S3 Select.
fs.s3.consistent.metadata.tableName	EmrFSMetadata	Essa propriedade especifica o nome da tabela de metadados no DynamoDB.
fs.s3.consistent.metadata.read.capacity	500	Essa propriedade especifica a capacidade de leitura do DynamoDB a ser provisionada quando a tabela de metadados é criada.
fs.s3.consistent.metadata.write.capacity	100	Essa propriedade especifica a capacidade de gravação do DynamoDB a ser provisionada quando a tabela de metadados é criada.
fs.s3.consistent.fastList	true	Quando definida como true, essa propriedade usa vários threads para listar um diretório (quando necessário). A consistência deve ser habilitada para usar essa propriedade.
fs.s3.consistent.fastList.prefetchMetadata	false	Quando definida como true, essa propriedade permite que metadados façam uma pré-busca por diretórios que contêm mais de 20.000 itens.
fs.s3.consistent.notification.CloudWatch	false	Quando definidas comotrue, CloudWatch as métricas são habilitadas para chamadas de FileSystem API que falham devido a eventuais problemas de consistência do Amazon S3.
fs.s3.consistent.notification.SQS	false	Quando definida como true, notificações de consistência eventual são enviadas a uma fila do Amazon SQS.
fs.s3.consistent.notification.SQS.queueName	EMRFS-Inconsistency-<jobFlowId>	Alterar essa propriedade permite que você especifique seu próprio nome de fila do SQS para mensagens a respeito de problemas de consistência eventual do Amazon S3.
fs.s3.consistent.notification.SQS.customMsg	none	Essa propriedade permite especificar informações personalizadas incluídas em mensagens do SQS a respeito de problemas de consistência eventual do Amazon S3. Se um valor não for especificado para essa propriedade, o campo correspondente na mensagem ficará vazio.
fs.s3.consistent.dynamodb.endpoint	none	Essa propriedade permite especificar um endpoint personalizado do DynamoDB para as seus metadados de exibição consistente.
fs.s3.useRequesterPaysHeader	false	Quando definida como true, essa propriedade permite solicitações do Amazon S3 para buckets com a opção de pagante de solicitações habilitada.