AWS Data Pipeline n'est plus disponible pour les nouveaux clients. Les clients existants de AWS Data Pipeline peut continuer à utiliser le service normalement. En savoir plus
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Localisation des journaux des erreurs
Cette section explique comment trouver les divers journaux écrits par AWS Data Pipeline, que vous pouvez utiliser pour déterminer la source de certains échecs et erreurs.
Journaux de pipeline
Nous vous recommandons de configurer les pipelines pour créer des fichiers journaux dans un emplacement persistant, comme dans l'exemple suivant où vous utilisez le pipelineLogUri champ de l'Defaultobjet d'un pipeline pour que tous les composants du pipeline utilisent un emplacement de journal Amazon S3 par défaut (vous pouvez remplacer cela en configurant un emplacement de journal dans un composant de pipeline spécifique).
Note
Task Runner stocke ses journaux dans un emplacement différent par défaut, qui peut ne pas être disponible lorsque le pipeline se termine et que l'instance qui exécute Task Runner se termine. Pour plus d'informations, veuillez consulter Vérifier la journalisation de Task Runner.
Pour configurer l'emplacement de journal à l'aide de l'interface de ligne de commande AWS Data Pipeline dans un fichier JSON de pipeline, commencez votre fichier de pipeline par le texte suivant :
{ "objects": [
{
"id":"Default",
"pipelineLogUri":"s3://mys3bucket/error_logs"
},
...Après avoir configuré un répertoire de journaux de pipeline, Task Runner crée une copie des journaux de votre répertoire, avec le même format et les mêmes noms de fichier que ceux décrits dans la section précédente sur les journaux de Task Runner.
Journaux d'étapes Hadoop Job et Amazon EMR
Pour toute activité basée sur Hadoop telle que HadoopActivityHiveActivity, ou PigActivity vous pouvez consulter les journaux des tâches Hadoop à l'emplacement renvoyé dans le slot d'exécution,. hadoopJobLog EmrActivitypossède ses propres fonctionnalités de journalisation et ces journaux sont stockés à l'emplacement choisi par Amazon EMR et renvoyés par le slot d'exécution. emrStepLog Pour plus d'informations, consultez Afficher les fichiers journaux dans le manuel Amazon EMR Developer Guide.
