Configurazione delle notifiche di coerenza per CloudWatch e Amazon SQS - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione delle notifiche di coerenza per CloudWatch e Amazon SQS

Puoi abilitare CloudWatch metriche e messaggi Amazon SQS in EMRFS per eventuali problemi di coerenza di Amazon S3.

CloudWatch

Quando le CloudWatch metriche sono abilitate, viene inserita una metrica denominata Inconsistency ogni volta che una chiamata FileSystem API fallisce a causa della coerenza finale di Amazon S3.

Per visualizzare i CloudWatch parametri relativi a eventuali problemi di coerenza di Amazon S3

Per visualizzare la metrica di incoerenza nella CloudWatch console, seleziona i parametri EMRFS, quindi seleziona una coppia/Metric Name. JobFlowId Ad esempio: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus e così via.

  1. Apri la console all'indirizzo https://console.aws.amazon.com/cloudwatch/. CloudWatch

  2. In Dashboard (Pannello di controllo), nella sezione Metrics (Parametri), scegliere EMRFS.

  3. Nel riquadro Job Flow Metrics, selezionate una o più coppie JobFlowId/Metric Name. Una rappresentazione grafica dei parametri è visualizzata nella finestra illustrata di seguito.

Amazon SQS

Quando le notifiche di Amazon SQS sono attivate, una coda Amazon SQS denominata EMRFS-Inconsistency-<jobFlowId> viene creata all'inizializzazione di EMRFS. I messaggi di Amazon SQS sono trasmessi alla coda quando una chiamata API FileSystem non riesce a causa della consistenza finale di Amazon S3. Il messaggio contiene informazioni come l'API JobFlowId, un elenco di percorsi non coerenti, una traccia dello stack e così via. I messaggi possono essere letti utilizzando la console di Amazon SQS o il comando read-sqs di EMRFS.

Gestione dei messaggi di Amazon SQS per i problemi di consistenza finale di Amazon S3

È possibile leggere i messaggi Amazon SQS per i problemi di consistenza finale di Amazon S3 mediante la CLI di EMRFS. Per leggere i messaggi da una coda Amazon SQS di EMRFS, digita il comando read-sqs e specifica un percorso di output nel file system locale del nodo master per il file di output risultante.

È anche possibile eliminare una coda Amazon SQS di EMRFS utilizzando il comando delete-sqs.

  1. Per leggere i messaggi da una coda Amazon SQS, digita il comando seguente. Sostituisci queuename con il nome della coda Amazon SQS configurata e sostituisci /path/filename con il percorso del file di output:

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Ad esempio, per leggere i messaggi di output di Amazon SQS dalla coda predefinita, digita:

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    Nota

    È inoltre possibile utilizzare le scelte rapide -q e -o anziché --queue-name e --output-file.

  2. Per eliminare una coda Amazon SQS, digita il comando seguente:

    emrfs delete-sqs --queue-name queuename

    Ad esempio, per eliminare la coda predefinita, digitare:

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    Nota

    È anche possibile utilizzare la scelta rapida -q anziché --queue-name.