STL_LOAD_COMMITS - Amazon Redshift

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

STL_LOAD_COMMITS

renvoie les informations pour suivre ou dépanner une charge de données.

Cette vue enregistre la progression de chaque fichier de données lorsqu’il est chargé dans une table de base de données.

STL_ LOAD _ COMMITS est visible par tous les utilisateurs. Les super-utilisateurs peuvent voir toutes les lignes, tandis que les utilisateurs standard peuvent voir uniquement leurs propres données. Pour de plus amples informations, veuillez consulter Visibilité des données dans les tables et vues système.

Note

STL_ LOAD _ contient COMMITS uniquement les requêtes exécutées sur les clusters principaux. Elle ne contient pas de requêtes exécutées sur des clusters de mise à l’échelle de la simultanéité. Pour accéder aux requêtes exécutées à la fois sur des clusters de dimensionnement principaux et simultanés, nous vous recommandons d'utiliser la vue SYS SYS_LOAD_DETAIL de surveillance. Les données de la vue SYS de surveillance sont formatées pour être plus faciles à utiliser et à comprendre.

Colonnes de la table

Nom de la colonne Type de données Description
userid entier ID de l’utilisateur qui a généré l’entrée.
query entier ID de requête. La colonne de requête peut servir à joindre les autres tables système et les vues.
slice entier Tranche chargée pour cette entrée.
name character(256) Valeur définie par le système.
filename character(256) Nom du fichier suivi.
byte_offset entier Information à utilisation interne uniquement.
lines_scanned entier Nombre de lignes du fichier de charge analysées. Ce nombre peut ne pas correspondre au nombre de lignes qui sont effectivement chargées. Par exemple, le chargement peut scanner mais tolérer un certain nombre d'enregistrements incorrects, selon l'MAXERRORoption de la COPY commande.
erreurs entier Information à utilisation interne uniquement.
curtime timestamp Heure à laquelle cette entrée a été mise à jour pour la dernière fois.
status entier Information à utilisation interne uniquement.
file_format character(16) Format du fichier de chargement. Les valeurs possibles sont les suivantes :
  • Avro

  • JSON

  • ORC

  • Parquet

  • Texte

is_partial entier Valeur qui, si elle est vraie (1), indique que le fichier d'entrée est divisé en plages au cours d'une COPY opération. Si false = 0, le fichier d’entrée n’est pas divisé.
start_offset bigint Valeur qui, si le fichier d'entrée est fractionné au cours d'une COPY opération, indique la valeur de décalage du fractionnement (en octets). Chaque fractionnement de fichier est journalisé en tant qu’enregistrement distinct avec la valeur start_offset correspondante. Si le fichier n’est pas fractionné, cette valeur est réglée sur 0.
copy_job_id bigint Identifiant de la tâche de copie. Un 0 indique qu’il n’y a aucun identifiant de tâche.

Exemples de requêtes

L'exemple suivant renvoie les détails de la dernière COPY opération.

select query, trim(filename) as file, curtime as updated from stl_load_commits where query = pg_last_copy_id(); query | file | updated -------+----------------------------------+---------------------------- 28554 | s3://dw-tickit/category_pipe.txt | 2013-11-01 17:14:52.648486 (1 row)

La requête suivante contient des entrées pour un nouveau chargement des tables de la TICKIT base de données :

select query, trim(filename), curtime from stl_load_commits where filename like '%tickit%' order by query;
query | btrim | curtime -------+---------------------------+---------------------------- 22475 | tickit/allusers_pipe.txt | 2013-02-08 20:58:23.274186 22478 | tickit/venue_pipe.txt | 2013-02-08 20:58:25.070604 22480 | tickit/category_pipe.txt | 2013-02-08 20:58:27.333472 22482 | tickit/date2008_pipe.txt | 2013-02-08 20:58:28.608305 22485 | tickit/allevents_pipe.txt | 2013-02-08 20:58:29.99489 22487 | tickit/listings_pipe.txt | 2013-02-08 20:58:37.632939 22593 | tickit/allusers_pipe.txt | 2013-02-08 21:04:08.400491 22596 | tickit/venue_pipe.txt | 2013-02-08 21:04:10.056055 22598 | tickit/category_pipe.txt | 2013-02-08 21:04:11.465049 22600 | tickit/date2008_pipe.txt | 2013-02-08 21:04:12.461502 22603 | tickit/allevents_pipe.txt | 2013-02-08 21:04:14.785124 22605 | tickit/listings_pipe.txt | 2013-02-08 21:04:20.170594 (12 rows)

Le fait qu’un enregistrement soit écrit dans le fichier journal pour cette vue système ne signifie pas que la charge a été validée avec succès dans le cadre de la transaction contenante. Pour vérifier les validations de chargement, interrogez la UTILITYTEXT vue STL _ et recherchez l'COMMITenregistrement correspondant à une COPY transaction. Par exemple, cette requête joint STL _ _ COMMITS et LOAD STL _ sur la QUERY base d'une sous-requête portant sur STL _ UTILITYTEXT :

select l.query,rtrim(l.filename),q.xid from stl_load_commits l, stl_query q where l.query=q.query and exists (select xid from stl_utilitytext where xid=q.xid and rtrim("text")='COMMIT'); query | rtrim | xid -------+---------------------------+------- 22600 | tickit/date2008_pipe.txt | 68311 22480 | tickit/category_pipe.txt | 68066 7508 | allusers_pipe.txt | 23365 7552 | category_pipe.txt | 23415 7576 | allevents_pipe.txt | 23429 7516 | venue_pipe.txt | 23390 7604 | listings_pipe.txt | 23445 22596 | tickit/venue_pipe.txt | 68309 22605 | tickit/listings_pipe.txt | 68316 22593 | tickit/allusers_pipe.txt | 68305 22485 | tickit/allevents_pipe.txt | 68071 7561 | allevents_pipe.txt | 23429 7541 | category_pipe.txt | 23415 7558 | date2008_pipe.txt | 23428 22478 | tickit/venue_pipe.txt | 68065 526 | date2008_pipe.txt | 2572 7466 | allusers_pipe.txt | 23365 22482 | tickit/date2008_pipe.txt | 68067 22598 | tickit/category_pipe.txt | 68310 22603 | tickit/allevents_pipe.txt | 68315 22475 | tickit/allusers_pipe.txt | 68061 547 | date2008_pipe.txt | 2572 22487 | tickit/listings_pipe.txt | 68072 7531 | venue_pipe.txt | 23390 7583 | listings_pipe.txt | 23445 (25 rows)

Les exemples suivants mettent en évidence les valeurs de colonne is_partial et start_offset.

-- Single large file copy without scan range SELECT count(*) FROM stl_load_commits WHERE query = pg_last_copy_id(); 1 -- Single large uncompressed, delimited file copy with scan range SELECT count(*) FROM stl_load_commits WHERE query = pg_last_copy_id(); 16 -- Scan range offset logging in the file at 64MB boundary. SELECT start_offset FROM stl_load_commits WHERE query = pg_last_copy_id() ORDER BY start_offset; 0 67108864 134217728 201326592 268435456 335544320 402653184 469762048 536870912 603979776 671088640 738197504 805306368 872415232 939524096 1006632960