Configurazione di notifiche di coerenza per CloudWatch e Amazon SQS

Puoi attivare i CloudWatch parametri e i messaggi di Amazon SQS in EMRFS per problemi di consistenza finale in Amazon S3.

CloudWatch

Quando i CloudWatch parametri sono attivati, un parametro denominato Inconsistency (Incoerenza) viene trasmesso ogni volta che una chiamata FileSystem API non riesce a causa della consistenza finale di Amazon S3.

Visualizzazione dei CloudWatch parametri relativi ad i problemi di consistenza finale di Amazon S3

Per visualizzare la metrica di incoerenza nella CloudWatch console, seleziona i parametri EMRFS, quindi seleziona una coppia/Metric Name. JobFlowId Ad esempio: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus e così via.

1. https://console.aws.amazon.com/cloudwatch/Apri la console all'indirizzo. CloudWatch

2. In Dashboard (Pannello di controllo), nella sezione Metrics (Parametri), scegliere EMRFS.

3. Nel riquadro Job Flow Metrics, selezionate una o più coppie JobFlowId/Metric Name. Una rappresentazione grafica dei parametri è visualizzata nella finestra illustrata di seguito.

Amazon SQS

Quando le notifiche di Amazon SQS sono attivate, una coda Amazon SQS denominata EMRFS-Inconsistency-<jobFlowId> viene creata all'inizializzazione di EMRFS. I messaggi di Amazon SQS sono trasmessi alla coda quando una chiamata API FileSystem non riesce a causa della consistenza finale di Amazon S3. Il messaggio contiene informazioni come l'API JobFlowId, un elenco di percorsi non coerenti, una traccia dello stack e così via. I messaggi possono essere letti utilizzando la console di Amazon SQS o il comando read-sqs di EMRFS.

Gestione dei messaggi di Amazon SQS per i problemi di consistenza finale di Amazon S3

È possibile leggere i messaggi Amazon SQS per i problemi di consistenza finale di Amazon S3 mediante la CLI di EMRFS. Per leggere i messaggi da una coda Amazon SQS di EMRFS, digita il comando read-sqs e specifica un percorso di output nel file system locale del nodo master per il file di output risultante.

È anche possibile eliminare una coda Amazon SQS di EMRFS utilizzando il comando delete-sqs.

1. Per leggere i messaggi da una coda Amazon SQS, digita il comando seguente. Sostituisci queuename con il nome della coda Amazon SQS configurata e sostituisci /path/filename con il percorso del file di output:

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   Ad esempio, per leggere i messaggi di output di Amazon SQS dalla coda predefinita, digita:

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   Nota

   È inoltre possibile utilizzare le scelte rapide -q e -o anziché --queue-name e --output-file.

2. Per eliminare una coda Amazon SQS, digita il comando seguente:

   emrfs delete-sqs --queue-name queuename

   Ad esempio, per eliminare la coda predefinita, digitare:

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   Nota

   È anche possibile utilizzare la scelta rapida -q anziché --queue-name.