STL_LOAD_COMMITS

PDFRSS

renvoie les informations pour suivre ou dépanner une charge de données.

Cette vue enregistre la progression de chaque fichier de données lorsqu’il est chargé dans une table de base de données.

STL_LOAD_COMMIS est visible par tous les utilisateurs. Les super-utilisateurs peuvent voir toutes les lignes, tandis que les utilisateurs standard peuvent voir uniquement leurs propres données. Pour de plus amples informations, veuillez consulter Visibilité des données dans les tables et vues système.

Note

STL_LOAD_COMMITS contient uniquement les requêtes exécutées sur les principaux clusters provisionnés. Il ne contient pas de requêtes exécutées sur des clusters de dimensionnement simultané ou sur des espaces de noms sans serveur. Pour accéder aux plans d'explication des requêtes exécutées à la fois sur les clusters principaux, les clusters de dimensionnement de la simultanéité et les espaces de noms sans serveur, nous vous recommandons d'utiliser la vue de surveillance SYS. SYS_LOAD_DETAIL Les données de la vue de surveillance SYS sont formatées pour être plus faciles à utiliser et à comprendre.

Colonnes de la table

Nom de la colonne	Type de données	Description
userid	entier	ID de l’utilisateur qui a généré l’entrée.
query	entier	ID de requête. La colonne de requête peut servir à joindre les autres tables système et les vues.
slice	entier	Tranche chargée pour cette entrée.
name	character(256)	Valeur définie par le système.
filename	character(256)	Nom du fichier suivi.
byte_offset	entier	Information à utilisation interne uniquement.
lines_scanned	entier	Nombre de lignes du fichier de charge analysées. Ce nombre peut ne pas correspondre au nombre de lignes qui sont effectivement chargées. Par exemple, la charge peut analyser, mais tolérer, un certain nombre d’enregistrements incorrects, en fonction de l’option MAXERROR de la commande COPY.
erreurs	entier	Information à utilisation interne uniquement.
curtime	timestamp	Heure à laquelle cette entrée a été mise à jour pour la dernière fois.
status	entier	Information à utilisation interne uniquement.
file_format	character(16)	Format du fichier de chargement. Les valeurs possibles sont les suivantes : Avro JSON ORC Parquet Texte
is_partial	entier	Si true = 1, cette valeur indique que le fichier d’entrée est divisé en plages lors d’une opération COPY. Si false = 0, le fichier d’entrée n’est pas divisé.
start_offset	bigint	Si le fichier d’entrée est fractionné lors d’une opération COPY, cela indique la valeur de décalage du fractionnement (en octets). Chaque fractionnement de fichier est journalisé en tant qu’enregistrement distinct avec la valeur start_offset correspondante. Si le fichier n’est pas fractionné, cette valeur est réglée sur 0.
copy_job_id	bigint	Identifiant de la tâche de copie. Un 0 indique qu’il n’y a aucun identifiant de tâche.

Exemples de requêtes

L’exemple suivant renvoie les détails de la dernière opération COPY.

select query, trim(filename) as file, curtime as updated
from stl_load_commits
where query = pg_last_copy_id();

 query |               file               |          updated           
-------+----------------------------------+----------------------------
 28554 | s3://dw-tickit/category_pipe.txt | 2013-11-01 17:14:52.648486 
(1 row)

La requête suivante contient les entrées d’un nouveau chargement de tables dans la base de données TICKIT :

select query, trim(filename), curtime
from stl_load_commits
where filename like '%tickit%' order by query;

 query |           btrim           |          curtime           
-------+---------------------------+----------------------------
 22475 | tickit/allusers_pipe.txt  | 2013-02-08 20:58:23.274186 
 22478 | tickit/venue_pipe.txt     | 2013-02-08 20:58:25.070604 
 22480 | tickit/category_pipe.txt  | 2013-02-08 20:58:27.333472 
 22482 | tickit/date2008_pipe.txt  | 2013-02-08 20:58:28.608305 
 22485 | tickit/allevents_pipe.txt | 2013-02-08 20:58:29.99489  
 22487 | tickit/listings_pipe.txt  | 2013-02-08 20:58:37.632939 
 22593 | tickit/allusers_pipe.txt  | 2013-02-08 21:04:08.400491 
 22596 | tickit/venue_pipe.txt     | 2013-02-08 21:04:10.056055 
 22598 | tickit/category_pipe.txt  | 2013-02-08 21:04:11.465049 
 22600 | tickit/date2008_pipe.txt  | 2013-02-08 21:04:12.461502 
 22603 | tickit/allevents_pipe.txt | 2013-02-08 21:04:14.785124 
 22605 | tickit/listings_pipe.txt  | 2013-02-08 21:04:20.170594 

(12 rows)

Le fait qu’un enregistrement soit écrit dans le fichier journal pour cette vue système ne signifie pas que la charge a été validée avec succès dans le cadre de la transaction contenante. Pour vérifier les validations de charge, interrogez la vue STL_UTILITYTEXT et recherchez l’enregistrement COMMIT qui correspond à une transaction COPY. Par exemple, cette requête joint STL_LOAD_COMMITS et STL_QUERY à partir d’une sous-requête sur STL_UTILITYTEXT :

select l.query,rtrim(l.filename),q.xid
from stl_load_commits l, stl_query q
where l.query=q.query
and exists
(select xid from stl_utilitytext where xid=q.xid and rtrim("text")='COMMIT');

 query |           rtrim           |  xid
-------+---------------------------+-------
 22600 | tickit/date2008_pipe.txt  | 68311
 22480 | tickit/category_pipe.txt  | 68066
  7508 | allusers_pipe.txt         | 23365
  7552 | category_pipe.txt         | 23415
  7576 | allevents_pipe.txt        | 23429
  7516 | venue_pipe.txt            | 23390
  7604 | listings_pipe.txt         | 23445
 22596 | tickit/venue_pipe.txt     | 68309
 22605 | tickit/listings_pipe.txt  | 68316
 22593 | tickit/allusers_pipe.txt  | 68305
 22485 | tickit/allevents_pipe.txt | 68071
  7561 | allevents_pipe.txt        | 23429
  7541 | category_pipe.txt         | 23415
  7558 | date2008_pipe.txt         | 23428
 22478 | tickit/venue_pipe.txt     | 68065
   526 | date2008_pipe.txt         |  2572
  7466 | allusers_pipe.txt         | 23365
 22482 | tickit/date2008_pipe.txt  | 68067
 22598 | tickit/category_pipe.txt  | 68310
 22603 | tickit/allevents_pipe.txt | 68315
 22475 | tickit/allusers_pipe.txt  | 68061
   547 | date2008_pipe.txt         |  2572
 22487 | tickit/listings_pipe.txt  | 68072
  7531 | venue_pipe.txt            | 23390
  7583 | listings_pipe.txt         | 23445
(25 rows)

Les exemples suivants mettent en évidence les valeurs de colonne is_partial et start_offset.

-- Single large file copy without scan range
SELECT count(*) FROM stl_load_commits WHERE query = pg_last_copy_id();
1

-- Single large uncompressed, delimited file copy with scan range
SELECT count(*) FROM stl_load_commits WHERE query = pg_last_copy_id();
16

-- Scan range offset logging in the file at 64MB boundary. 
SELECT start_offset FROM stl_load_commits
WHERE query = pg_last_copy_id() ORDER BY start_offset;
0
67108864
134217728
201326592
268435456
335544320
402653184
469762048
536870912
603979776
671088640
738197504
805306368
872415232
939524096
1006632960