Affichage des journaux de pipelines

PDF

La journalisation au niveau du pipeline est prise en charge lors de la création du pipeline en spécifiant un emplacement Amazon S3 dans la console ou en utilisant un pipelineLogUri dans l'objet par défaut du SDK/CLI. La structure du répertoire de chaque pipeline au sein de cette URI est semblable à ce qui suit :

pipelineId
    -componentName
        -instanceId
            -attemptId

Pour le pipeline, df-00123456ABC7DEF8HIJK, la structure du répertoire est similaire à :

df-00123456ABC7DEF8HIJK
    -ActivityId_fXNzc
        -@ActivityId_fXNzc_2014-05-01T00:00:00
            -@ActivityId_fXNzc_2014-05-01T00:00:00_Attempt=1

Pour l'activité ShellCommandActivity, les journaux stderr et stdout associés à ces activités sont stockés dans le répertoire de chaque tentative.

Pour les ressources telles que, EmrCluster, où une emrLogUri est définie, cette valeur est prioritaire. Sinon, les ressources (y compris TaskRunner les journaux de ces ressources) suivent la structure de journalisation du pipeline ci-dessus.

Pour afficher les journaux d'une exécution de pipeline donnée :

1. Récupérez le ObjectId en appelant query-objects pour obtenir l'ID exact de l'objet. Par exemple :

   aws datapipeline query-objects --pipeline-id <pipeline-id> --sphere ATTEMPT --region ap-northeast-1

   query-objectsest une CLI paginée qui peut renvoyer un jeton de pagination s'il y a plus d'exécutions pour la ligne donnée. pipeline-id Vous pouvez utiliser le jeton pour parcourir toutes les tentatives jusqu'à ce que vous trouviez l'objet attendu. Par exemple, un retour ObjectId ressemblerait à :@TableBackupActivity_2023-05-020T18:05:18_Attempt=1.

2. À l'aide duObjectId, récupérez l'emplacement du journal en utilisant :

   aws datapipeline describe-objects —pipeline-id <pipeline-id> --object-ids <object-id> --query "pipelineObjects[].fields[?key=='@logLocation'].stringValue"

Message d'erreur indiquant l'échec d'une activité

Pour obtenir le message d'erreur, commencez par ObjectId utiliserquery-objects.

Après avoir récupéré le message d'échecObjectId, utilisez la describe-objects CLI pour obtenir le message d'erreur réel.

aws datapipeline describe-objects --region ap-northeast-1 --pipeline-id <pipeline-id> --object-ids <object-id> --query "pipelineObjects[].fields[?key=='errorMessage'].stringValue"

Annuler, exécuter à nouveau ou marquer un objet comme terminé

Utilisez l'set-statusinterface de ligne de commande pour annuler un objet en cours d'exécution, réexécuter un objet défaillant ou marquer un objet en cours d'exécution comme terminé.

Tout d'abord, récupérez l'ID de l'objet à l'aide de l'query-objectsinterface de ligne de commande. Par exemple :

aws datapipeline query-objects --pipeline-id <pipeline-id> --sphere INSTANCE --region ap-northeast-1

Utilisez l'set-statusinterface de ligne de commande pour modifier l'état de l'objet souhaité. Par exemple :

aws datapipeline set-status —pipeline-id <pipeline-id> --region ap-northeast-1 --status TRY_CANCEL --object-ids <object-id>