Configure notificações de consistência para CloudWatch a Amazon SQS

Você pode ativar CloudWatch métricas e SQS mensagens da Amazon EMRFS para eventuais problemas de consistência no Amazon S3.

CloudWatch

Quando CloudWatch as métricas são habilitadas, uma métrica chamada Inconsistência é enviada sempre que uma FileSystem API chamada falha devido à consistência eventual do Amazon S3.

Para visualizar CloudWatch métricas para eventuais problemas de consistência do Amazon S3

Para visualizar a métrica de inconsistência no CloudWatch console, selecione as EMRFS métricas e, em seguida, selecione um par JobFlowId/Nome da métrica. Por exemplo: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus e assim por diante.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No Painel, na seção Métricas, escolha EMRFS.

3. No painel Job Flow Metrics, selecione um ou mais pares JobFlowId/Metric Name. Uma representação gráfica das métricas aparece na janela abaixo.

Amazon SQS

Quando SQS as notificações da Amazon são ativadas, uma SQS fila da Amazon com o nome EMRFS-Inconsistency-<jobFlowId> é criada quando EMRFS é inicializada. As SQS mensagens da Amazon são colocadas na fila quando uma FileSystem API chamada falha devido à eventual consistência do Amazon S3. A mensagem contém informações como JobFlowId,API, uma lista de caminhos inconsistentes, um rastreamento de pilha e assim por diante. As mensagens podem ser lidas usando o SQS console da Amazon ou usando o EMRFS read-sqs comando.

Para gerenciar SQS mensagens da Amazon para eventuais problemas de consistência do Amazon S3

SQSAs mensagens da Amazon para eventuais problemas de consistência do Amazon S3 podem ser lidas usando o. EMRFS CLI Para ler mensagens de uma SQS fila da EMRFS Amazon, digite o read-sqs comando e especifique um local de saída no sistema de arquivos local do nó principal para o arquivo de saída resultante.

Você também pode excluir uma SQS fila EMRFS da Amazon usando o delete-sqs comando.

1. Para ler mensagens de uma SQS fila da Amazon, digite o seguinte comando. Substituir queuename com o nome da SQS fila da Amazon que você configurou e substituiu /path/filename com o caminho para o arquivo de saída:

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   Por exemplo, para ler e enviar SQS mensagens da Amazon da fila padrão, digite:

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   nota

   Você também pode usar os atalhos -q e -o em vez de --queue-name e --output-file, respectivamente.

2. Para excluir uma SQS fila da Amazon, digite o seguinte comando:

   emrfs delete-sqs --queue-name queuename

   Por exemplo, para excluir a fila padrão, digite:

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   nota

   Você também pode usar o atalho -q no lugar de --queue-name.