Configurazione di notifiche di coerenza per CloudWatch e Amazon SQS - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione di notifiche di coerenza per CloudWatch e Amazon SQS

Puoi attivare i CloudWatch parametri e i messaggi di Amazon SQS in EMRFS per problemi di consistenza finale in Amazon S3.

CloudWatch

Quando i CloudWatch parametri sono attivati, un parametro denominato Inconsistency (Incoerenza) viene trasmesso ogni volta che una chiamata FileSystem API non riesce a causa della consistenza finale di Amazon S3.

Visualizzazione dei CloudWatch parametri relativi ad i problemi di consistenza finale di Amazon S3

Per visualizzare la metrica di incoerenza nella CloudWatch console, seleziona i parametri EMRFS, quindi seleziona una coppia/Metric Name. JobFlowId Ad esempio: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus e così via.

  1. https://console.aws.amazon.com/cloudwatch/Apri la console all'indirizzo. CloudWatch

  2. In Dashboard (Pannello di controllo), nella sezione Metrics (Parametri), scegliere EMRFS.

  3. Nel riquadro Job Flow Metrics, selezionate una o più coppie JobFlowId/Metric Name. Una rappresentazione grafica dei parametri è visualizzata nella finestra illustrata di seguito.

Amazon SQS

Quando le notifiche di Amazon SQS sono attivate, una coda Amazon SQS denominata EMRFS-Inconsistency-<jobFlowId> viene creata all'inizializzazione di EMRFS. I messaggi di Amazon SQS sono trasmessi alla coda quando una chiamata API FileSystem non riesce a causa della consistenza finale di Amazon S3. Il messaggio contiene informazioni come l'API JobFlowId, un elenco di percorsi non coerenti, una traccia dello stack e così via. I messaggi possono essere letti utilizzando la console di Amazon SQS o il comando read-sqs di EMRFS.

Gestione dei messaggi di Amazon SQS per i problemi di consistenza finale di Amazon S3

È possibile leggere i messaggi Amazon SQS per i problemi di consistenza finale di Amazon S3 mediante la CLI di EMRFS. Per leggere i messaggi da una coda Amazon SQS di EMRFS, digita il comando read-sqs e specifica un percorso di output nel file system locale del nodo master per il file di output risultante.

È anche possibile eliminare una coda Amazon SQS di EMRFS utilizzando il comando delete-sqs.

  1. Per leggere i messaggi da una coda Amazon SQS, digita il comando seguente. Sostituisci queuename con il nome della coda Amazon SQS configurata e sostituisci /path/filename con il percorso del file di output:

    emrfs read-sqs --queue-name queuename --output-file /path/filename

    Ad esempio, per leggere i messaggi di output di Amazon SQS dalla coda predefinita, digita:

    emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename
    Nota

    È inoltre possibile utilizzare le scelte rapide -q e -o anziché --queue-name e --output-file.

  2. Per eliminare una coda Amazon SQS, digita il comando seguente:

    emrfs delete-sqs --queue-name queuename

    Ad esempio, per eliminare la coda predefinita, digitare:

    emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU
    Nota

    È anche possibile utilizzare la scelta rapida -q anziché --queue-name.