Configurazione di notifiche di coerenza per CloudWatch e Amazon SQS
Puoi attivare i parametri di CloudWatch e i messaggi di Amazon SQS in EMRFS per problemi di consistenza finale in Amazon S3.
CloudWatch
Quando i parametri di CloudWatch sono attivati, un parametro denominato Inconsistency (Incoerenza) viene trasmesso ogni volta che una chiamata API FileSystem
non riesce a causa della consistenza finale di Amazon S3.
Visualizzazione dei parametri di CloudWatch per i problemi di consistenza finale di Amazon S3
Per visualizzare il parametro Incosistency (Incoerenza) nella console di CloudWatch, seleziona i parametri di EMRFS e, in seguito, seleziona una coppia JobFlowId/Metric Name (Nome parametro). Ad esempio: j-162XXXXXXM2CU ListStatus
, j-162XXXXXXM2CU
GetFileStatus
e così via.
-
Aprire la console CloudWatch all'indirizzo https://console.aws.amazon.com/cloudwatch/
. -
In Dashboard (Pannello di controllo), nella sezione Metrics (Parametri), scegliere EMRFS.
-
Nel riquadro Job Flow Metrics (Parametri flusso di elaborazione), selezionare una o più coppie JobFlowId/Metric Name (Nome parametro). Una rappresentazione grafica dei parametri è visualizzata nella finestra illustrata di seguito.
Amazon SQS
Quando le notifiche di Amazon SQS sono attivate, una coda Amazon SQS denominata EMRFS-Inconsistency-<jobFlowId>
viene creata all'inizializzazione di EMRFS. I messaggi di Amazon SQS sono trasmessi alla coda quando una chiamata API FileSystem
non riesce a causa della consistenza finale di Amazon S3. Il messaggio contiene informazioni quali JobFlowId, API, un elenco di percorsi inconsistenti, uno traccia di stack e così via. I messaggi possono essere letti utilizzando la console di Amazon SQS o il comando read-sqs
di EMRFS.
Gestione dei messaggi di Amazon SQS per i problemi di consistenza finale di Amazon S3
È possibile leggere i messaggi Amazon SQS per i problemi di consistenza finale di Amazon S3 mediante la CLI di EMRFS. Per leggere i messaggi da una coda Amazon SQS di EMRFS, digita il comando read-sqs
e specifica un percorso di output nel file system locale del nodo master per il file di output risultante.
È anche possibile eliminare una coda Amazon SQS di EMRFS utilizzando il comando delete-sqs
.
-
Per leggere i messaggi da una coda Amazon SQS, digita il comando seguente. Sostituisci
queuename
con il nome della coda Amazon SQS configurata e sostituisci/path/filename
con il percorso del file di output:emrfs read-sqs --queue-name
queuename
--output-file/path/filename
Ad esempio, per leggere i messaggi di output di Amazon SQS dalla coda predefinita, digita:
emrfs read-sqs --queue-name
EMRFS-Inconsistency-j-162XXXXXXM2CU
--output-file/path/filename
Nota
È inoltre possibile utilizzare le scelte rapide
-q
e-o
anziché--queue-name
e--output-file
. -
Per eliminare una coda Amazon SQS, digita il comando seguente:
emrfs delete-sqs --queue-name
queuename
Ad esempio, per eliminare la coda predefinita, digitare:
emrfs delete-sqs --queue-name
EMRFS-Inconsistency-j-162XXXXXXM2CU
Nota
È anche possibile utilizzare la scelta rapida
-q
anziché--queue-name
.