SYS_LOAD_HISTORY - Amazon Redshift

SYS_LOAD_HISTORY

SYS_LOAD_HISTORY を使用して、COPY コマンドの詳細を表示します。いくつかのフィールドの累積統計を含む COPY コマンドが、それぞれの行に対応して表示されます。この情報には、実行中と終了した COPY コマンドの両方が含まれます。

SYS_LOAD_HISTORY はすべてのユーザーが表示可能です。スーパーユーザーはすべての行を表示できますが、通常のユーザーは自分のデータのみを表示できます。詳細については、「システムテーブルとビューのデータの可視性」を参照してください。

テーブルの列

列名 データ型 説明
user_id integer コピーを送信したユーザーの ID。
query_id bigint コピーのクエリ ID。
transaction_id bigint トランザクション識別子。
session_id integer コピーを実行しているプロセスのプロセス ID。
database_name text 対象のオペレーションが発行された時点で、ユーザーが接続されていたデータベースの名前。
status text コピーのステータス。有効な値は runningcompletedabortedです。
table_name text コピー先のテーブル名。
start_time timestamp コピーが開始した時刻。
end_time timestamp コピーが完了した時刻。
duration bigint COPY コマンドが消費した時間 (マイクロ秒)。
data_source text コピーする入力ファイルのための Amazon S3 の場所。
file_format text ソースファイル形式。形式には、csv、txt、json、avro、orc、parquet が含まれます。
loaded_rows bigint テーブルにコピーされた行数。
loaded_bytes bigint テーブルにコピーされたバイト数。
source_file_count integer ソースファイルとして数えられるファイルの数。
source_file_bytes bigint ソースファイル内のバイト数。
file_count_scanned integer Amazon S3 のスキャンされたファイル数。
file_bytes_scanned bigint Amazon S3 のファイルからスキャンされたバイト数。
error_count bigint エラーの数。
copy_job_id bigint コピージョブ識別子。0 はジョブ ID がないことを示します。

サンプルクエリ

次のクエリは、特定のコピーコマンドのロードされた行、バイト、テーブル、データソースを表示します。

SELECT query_id, table_name, data_source, loaded_rows, loaded_bytes FROM sys_load_history WHERE query_id IN (6389,490791,441663,74374,72297) ORDER BY query_id, data_source DESC;

サンプル出力。

query_id | table_name | data_source | loaded_rows | loaded_bytes ----------+------------------+-----------------------------------------------------------------------+-------------+--------------- 6389 | store_returns | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/store_returns/ | 287999764 | 1196240296158 72297 | web_site | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/web_site/ | 54 | 43808 74374 | ship_mode | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/ship_mode/ | 20 | 1320 441663 | income_band | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/income_band/ | 20 | 2152 490791 | customer_address | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/customer_address/ | 6000000 | 722924305

次のクエリは、コピーコマンドのロードされた行、バイト、テーブル、データソースを表示します。

SELECT query_id, table_name, data_source, loaded_rows, loaded_bytes FROM sys_load_history ORDER BY query_id DESC LIMIT 10;

サンプル出力。

query_id | table_name | data_source | loaded_rows | loaded_bytes ----------+------------------------+-----------------------------------------------------------------------------+-------------+----------------- 491058 | web_site | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/web_site/ | 54 | 43808 490947 | web_sales | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/web_sales/ | 720000376 | 22971988122819 490923 | web_returns | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/web_returns/ | 71997522 | 96597496325 490918 | web_page | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/web_page/ | 3000 | 1320 490907 | warehouse | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/warehouse/ | 20 | 1320 490902 | time_dim | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/time_dim/ | 86400 | 1320 490876 | store_sales | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/store_sales/ | 2879987999 | 151666241887933 490870 | store_returns | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/store_returns/ | 287999764 | 1196405607941 490865 | store | s3://load-test/data-sources/tpcds/2.8.0/textfile/1T/store/ | 1002 | 365507

次のクエリは、コピーコマンドの毎日ロードされる行とバイトを表示します。

SELECT date_trunc('day',start_time) AS exec_day, SUM(loaded_rows) AS loaded_rows, SUM(loaded_bytes) AS loaded_bytes FROM sys_load_history GROUP BY exec_day ORDER BY exec_day DESC;

サンプル出力。

exec_day | loaded_rows | loaded_bytes ---------------------+-------------+------------------ 2022-01-20 00:00:00 | 6347386005 | 258329473070606 2022-01-19 00:00:00 | 19042158015 | 775198502204572 2022-01-18 00:00:00 | 38084316030 | 1550294469446883 2022-01-17 00:00:00 | 25389544020 | 1033271084791724 2022-01-16 00:00:00 | 19042158015 | 775222736252792 2022-01-15 00:00:00 | 19834245387 | 798122849155598 2022-01-14 00:00:00 | 75376544688 | 3077040926571384