Configura le notifiche di coerenza per CloudWatch e Amazon SQS

Puoi abilitare le CloudWatch metriche e SQS i messaggi Amazon EMRFS per eventuali problemi di coerenza di Amazon S3.

CloudWatch

Quando le CloudWatch metriche sono abilitate, viene inserita una metrica denominata Inconsistency ogni volta che una FileSystem API chiamata fallisce a causa della coerenza finale di Amazon S3.

Per visualizzare i CloudWatch parametri relativi a eventuali problemi di coerenza di Amazon S3

Per visualizzare la metrica di incoerenza nella CloudWatch console, seleziona le EMRFS metriche, quindi seleziona una coppia/Metric Name. JobFlowId Ad esempio: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus e così via.

1. Apri la console all'indirizzo. CloudWatch https://console.aws.amazon.com/cloudwatch/

2. Nella Dashboard, nella sezione Metriche, scegli EMRFS.

3. Nel riquadro Job Flow Metrics, selezionate una o più coppie JobFlowId/Metric Name. Una rappresentazione grafica dei parametri è visualizzata nella finestra illustrata di seguito.

Amazon SQS

Quando SQS le notifiche Amazon sono abilitate, EMRFS-Inconsistency-<jobFlowId> viene creata una SQS coda Amazon con il nome quando EMRFS viene inizializzata. SQSI messaggi Amazon vengono inseriti nella coda quando una FileSystem API chiamata non riesce a causa della coerenza finale di Amazon S3. Il messaggio contiene informazioni come JobFlowId, un elenco di percorsi non coerentiAPI, una traccia dello stack e così via. I messaggi possono essere letti utilizzando la SQS console Amazon o utilizzando il EMRFS read-sqs comando.

Per gestire i SQS messaggi Amazon per Amazon S3, eventuali problemi di coerenza

Eventuali problemi di coerenza dei SQS messaggi Amazon per Amazon S3 possono essere letti utilizzando. EMRFS CLI Per leggere i messaggi da una SQS coda EMRFS Amazon, digita il read-sqs comando e specifica una posizione di output sul file system locale del nodo master per il file di output risultante.

Puoi anche eliminare una SQS coda EMRFS Amazon utilizzando il delete-sqs comando.

1. Per leggere i messaggi da una SQS coda Amazon, digita il seguente comando. Replace (Sostituisci) queuename con il nome della SQS coda Amazon che hai configurato e sostituito /path/filename con il percorso del file di output:

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   Ad esempio, per leggere e inviare SQS messaggi Amazon dalla coda predefinita, digita:

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   Nota

   È inoltre possibile utilizzare le scelte rapide -q e -o anziché --queue-name e --output-file.

2. Per eliminare una SQS coda Amazon, digita il seguente comando:

   emrfs delete-sqs --queue-name queuename

   Ad esempio, per eliminare la coda predefinita, digitare:

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   Nota

   È anche possibile utilizzare la scelta rapida -q anziché --queue-name.