Visualizza log pipeline

PDF

La registrazione a livello di pipeline è supportata durante la creazione della pipeline specificando una posizione Amazon S3 nella console o con un pipelineLogUri oggetto predefinito in SDK/CLI. La struttura della directory per ogni pipeline all'interno di quella URI è la seguente:

pipelineId
    -componentName
        -instanceId
            -attemptId

Per la pipeline, df-00123456ABC7DEF8HIJK, la struttura della directory è simile a:

df-00123456ABC7DEF8HIJK
    -ActivityId_fXNzc
        -@ActivityId_fXNzc_2014-05-01T00:00:00
            -@ActivityId_fXNzc_2014-05-01T00:00:00_Attempt=1

Per ShellCommandActivity, i log per stderr e stdout associati a queste attività sono memorizzati nella directory per ogni tentativo.

Per le risorse, ad esempio, EmrCluster, dove viene impostato un valore emrLogUri, tale valore ha la priorità. Altrimenti, le risorse (inclusi TaskRunner i registri di tali risorse) seguono la struttura di registrazione della pipeline sopra riportata.

Per visualizzare i log di una determinata pipeline, esegui:

1. Recupera il ObjectId chiamando query-objects per ottenere l'ID esatto dell'oggetto. Ad esempio:

   aws datapipeline query-objects --pipeline-id <pipeline-id> --sphere ATTEMPT --region ap-northeast-1

   query-objectsè una CLI impaginata e può restituire un token di impaginazione se ci sono più esecuzioni per quel dato. pipeline-id Puoi usare il token per eseguire tutti i tentativi fino a trovare l'oggetto previsto. Ad esempio, un restituito ObjectId sarebbe simile a:@TableBackupActivity_2023-05-020T18:05:18_Attempt=1.

2. UtilizzandoObjectId, recupera la posizione del registro utilizzando:

   aws datapipeline describe-objects —pipeline-id <pipeline-id> --object-ids <object-id> --query "pipelineObjects[].fields[?key=='@logLocation'].stringValue"

Messaggio di errore di un'attività non riuscita

Per visualizzare il messaggio di errore, verifica innanzitutto l'ObjectIdutilizzoquery-objects.

Dopo aver recuperato l'erroreObjectId, utilizza la describe-objects CLI per ottenere il messaggio di errore effettivo.

aws datapipeline describe-objects --region ap-northeast-1 --pipeline-id <pipeline-id> --object-ids <object-id> --query "pipelineObjects[].fields[?key=='errorMessage'].stringValue"

Annullare o rieseguire o contrassegnare come finito un oggetto

Utilizza la set-status CLI per annullare un oggetto in esecuzione, eseguire nuovamente un oggetto guasto o contrassegnare un oggetto in esecuzione come Completato.

Innanzitutto, ottieni l'ID dell'oggetto utilizzando la query-objects CLI. Ad esempio:

aws datapipeline query-objects --pipeline-id <pipeline-id> --sphere INSTANCE --region ap-northeast-1

Usa la set-status CLI per modificare lo stato dell'oggetto desiderato. Ad esempio:

aws datapipeline set-status —pipeline-id <pipeline-id> --region ap-northeast-1 --status TRY_CANCEL --object-ids <object-id>