Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menanyakan log server informasi internet (IIS) yang disimpan di Amazon S3
Anda dapat menggunakan Amazon Athena untuk mengkueri log server web Microsoft Internet Information Services (IIS) disimpan dalam akun Amazon S3 Anda. Sementara IIS menggunakan berbagai
Karena format file log W3C diperluas dan IIS menggunakan pembatas karakter tunggal (spasi dan koma, masing-masing) dan tidak memiliki nilai terlampir dalam tanda kutip, Anda dapat menggunakan untuk membuat tabel Athena untuk mereka. LazySimpleSerDe
Format file log diperpanjang W3C
Format data berkas log W3C extendeddate,
time
, c-ip
, s-ip
, cs-method
, cs-uri-stem
, sc-status
, sc-bytes
, cs-bytes
, time-taken
, dan cs-version
.
2020-01-19 22:48:39 203.0.113.5 198.51.100.2 GET /default.html 200 540 524 157 HTTP/1.0 2020-01-19 22:49:40 203.0.113.10 198.51.100.12 GET /index.html 200 420 324 164 HTTP/1.0 2020-01-19 22:50:12 203.0.113.12 198.51.100.4 GET /image.gif 200 324 320 358 HTTP/1.0 2020-01-19 22:51:44 203.0.113.15 198.51.100.16 GET /faq.html 200 330 324 288 HTTP/1.0
Membuat tabel di Athena untuk log diperpanjang W3C
Sebelum Anda dapat mengkueri log W3C diperpanjang Anda, Anda harus membuat skema tabel sehingga Athena dapat membaca data log.
Untuk membuat tabel di Athena untuk log diperpanjang W3C
Buka konsol Athena di https://console.aws.amazon.com/athena/
. -
Paste pernyataan DDL seperti berikut ke konsol Athena, mencatat hal-hal berikut:
-
Menambahkan atau menghapus kolom dalam contoh untuk sesuai dengan bidang di log yang ingin Anda kueri.
-
Nama kolom dalam format berkas log diperluas W3C berisi tanda hubung (
-
). Namun, sesuai dengan Konvensi penamaan Athena, contoh pernyataanCREATE TABLE
menggantikannya dengan garis bawah (_
). -
Untuk menentukan pembatas ruang, gunakan.
FIELDS TERMINATED BY ' '
-
Modifikasi nilai di
LOCATION 's3://DOC-EXAMPLE-BUCKET/
untuk menunjuk ke W3C extended log Anda di Amazon S3.w3c-log-folder
/'
CREATE EXTERNAL TABLE `iis_w3c_logs`( date_col string, time_col string, c_ip string, s_ip string, cs_method string, cs_uri_stem string, sc_status string, sc_bytes string, cs_bytes string, time_taken string, cs_version string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 's3://DOC-EXAMPLE-BUCKET/
w3c-log-folder
/' -
-
Jalankan kueri di konsol Athena untuk mendaftarkan tabel
iis_w3c_logs
. Saat permintaan selesai, log siap bagi Anda untuk mengkueri dari Athena.
Contoh kueri pilih log diperpanjang W3C
Contoh kueri berikut memilih tanggal, waktu, permintaan target, dan waktu yang dibutuhkan untuk permintaan dari tabel iis_w3c_logs
. Klausa WHERE
memfilter untuk kasus dengan metode HTTP adalah GET
dan kode status HTTP adalah 200
(berhasil).
SELECT date_col, time_col, cs_uri_stem, time_taken FROM iis_w3c_logs WHERE cs_method = 'GET' AND sc_status = '200'
Gambar berikut menunjukkan hasil kueri di Editor Kueri Athena.
![Contoh hasil kueri di Athena dari berkas log W3C extended yang disimpan di Amazon S3.](images/querying-iis-logs-1.png)
Menggabungkan bidang tanggal dan waktu
Bidang date
dan time
yang dibatasi spasi adalah entri terpisah dalam data sumber log, tetapi dapat menggabungkan mereka ke stempel waktu jika Anda ingin. Gunakan fungsi concat ()derived_timestamp
.
CREATE TABLE iis_w3c_logs_w_timestamp AS SELECT date_parse(concat(date_col,' ', time_col),'%Y-%m-%d %H:%i:%s') as derived_timestamp, c_ip, s_ip, cs_method, cs_uri_stem, sc_status, sc_bytes, cs_bytes, time_taken, cs_version FROM iis_w3c_logs
Setelah tabel dibuat, Anda dapat mengkueri kolom stempel waktu baru langsung, seperti dalam contoh berikut.
SELECT derived_timestamp, cs_uri_stem, time_taken FROM iis_w3c_logs_w_timestamp WHERE cs_method = 'GET' AND sc_status = '200'
Gambar berikut menunjukkan hasil kueri.
![W3C diperpanjang hasil permintaan berkas log di atas tabel dengan kolom stempel waktu berasal.](images/querying-iis-logs-1a.png)
Format file log IIS
Berbeda dengan format W3C extended, format berkas log IIS
Contoh berikut menunjukkan data sampel dalam format berkas log IIS.
203.0.113.15, -, 2020-02-24, 22:48:38, W3SVC2, SERVER5, 198.51.100.4, 254, 501, 488, 200, 0, GET, /index.htm, -, 203.0.113.4, -, 2020-02-24, 22:48:39, W3SVC2, SERVER6, 198.51.100.6, 147, 411, 388, 200, 0, GET, /about.html, -, 203.0.113.11, -, 2020-02-24, 22:48:40, W3SVC2, SERVER7, 198.51.100.18, 170, 531, 468, 200, 0, GET, /image.png, -, 203.0.113.8, -, 2020-02-24, 22:48:41, W3SVC2, SERVER8, 198.51.100.14, 125, 711, 868, 200, 0, GET, /intro.htm, -,
Membuat tabel di Athena untuk file log IIS
Untuk kueri log format berkas log IIS Anda di Amazon S3, Anda pertama kali membuat skema tabel sehingga Athena dapat membaca data log.
Untuk membuat tabel di Athena untuk log format berkas log IIS
Buka konsol Athena di https://console.aws.amazon.com/athena/
. -
Paste pernyataan DDL berikut ke konsol Athena, mencatat poin-poin berikut:
-
Untuk menentukan pembatas koma, gunakan
FIELDS TERMINATED BY ','
. -
Ubah nilai di LOCATION 's3://DOC-EXAMPLE-BUCKET/
iis-log-file-folder
/' untuk menunjuk ke file log format log IIS Anda di Amazon S3.
CREATE EXTERNAL TABLE `iis_format_logs`( client_ip_address string, user_name string, request_date string, request_time string, service_and_instance string, server_name string, server_ip_address string, time_taken_millisec string, client_bytes_sent string, server_bytes_sent string, service_status_code string, windows_status_code string, request_type string, target_of_operation string, script_parameters string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 's3://DOC-EXAMPLE-BUCKET/
iis-log-file-folder
/' -
-
jalankan kueri di konsol Athena untuk mendaftarkan tabel
iis_format_logs
. Saat permintaan selesai, log siap bagi Anda untuk mengkueri dari Athena.
Contoh kueri pilih format log IIS
Contoh kueri berikut memilih tanggal permintaan, permintaan waktu, permintaan target, dan waktu yang dibutuhkan dalam milidetik dari tabel iis_format_logs
. Klausa WHERE
memfilter untuk kasus dengan tipe permintaan adalah GET
dan kode status HTTP adalah 200
(berhasil). Dalam kueri, perhatikan bahwa spasi utama masuk ' GET'
dan '
200'
diperlukan untuk membuat kueri berhasil.
SELECT request_date, request_time, target_of_operation, time_taken_millisec FROM iis_format_logs WHERE request_type = ' GET' AND service_status_code = ' 200'
Gambar berikut menunjukkan hasil kueri data sampel.
![Contoh hasil kueri di Athena dari berkas log format berkas log IIS yang disimpan di Amazon S3.](images/querying-iis-logs-2.png)
Format file log NCSA
IIS juga menggunakan format logging NCSA
Contoh berikut menunjukkan data dalam format log umum NCSA sebagai didokumentasikan untuk IIS.
198.51.100.7 - ExampleCorp\Li [10/Oct/2019:13:55:36 -0700] "GET /logo.gif HTTP/1.0" 200 232 198.51.100.14 - AnyCompany\Jorge [24/Nov/2019:10:49:52 -0700] "GET /index.html HTTP/1.1" 200 2165 198.51.100.22 - ExampleCorp\Mateo [27/Dec/2019:11:38:12 -0700] "GET /about.html HTTP/1.1" 200 1287 198.51.100.9 - AnyCompany\Nikki [11/Jan/2020:11:40:11 -0700] "GET /image.png HTTP/1.1" 404 230 198.51.100.2 - ExampleCorp\Ana [15/Feb/2019:10:12:22 -0700] "GET /favicon.ico HTTP/1.1" 404 30 198.51.100.13 - AnyCompany\Saanvi [14/Mar/2019:11:40:33 -0700] "GET /intro.html HTTP/1.1" 200 1608 198.51.100.11 - ExampleCorp\Xiulan [22/Apr/2019:10:51:34 -0700] "GET /group/index.html HTTP/1.1" 200 1344
Membuat tabel di Athena untuk log IIS NCSA
UntukCREATE TABLE
pernyataan, Anda dapat menggunakanGrok SerDedan pola grok yang mirip dengan yangLog server web Apache. Tidak seperti Apache log, pola grok menggunakan%{DATA:user_id}
untuk bidang ketiga, bukan%{USERNAME:user_id}
untuk memperhitungkan adanya backslash didomain\user_id
. Untuk informasi selengkapnya tentang menggunakan Grok SerDe, lihat Menulis pengklasifikasi kustom grok di Panduan Pengembang.AWS Glue
Untuk membuat tabel di Athena untuk log server web IIS NCSA
Buka konsol Athena di https://console.aws.amazon.com/athena/
. -
Paste pernyataan DDL berikut ke Editor Kueri Athena. Modifikasi nilai di
LOCATION 's3://DOC-EXAMPLE-BUCKET/
Untuk menunjuk ke log IIS NCSA di Amazon S3.iis-ncsa-logs
/'CREATE EXTERNAL TABLE iis_ncsa_logs( client_ip string, client_id string, user_id string, request_received_time string, client_request string, server_status string, returned_obj_size string ) ROW FORMAT SERDE 'com.amazonaws.glue.serde.GrokSerDe' WITH SERDEPROPERTIES ( 'input.format'='^%{IPV4:client_ip} %{DATA:client_id} %{DATA:user_id} %{GREEDYDATA:request_received_time} %{QUOTEDSTRING:client_request} %{DATA:server_status} %{DATA: returned_obj_size}$' ) STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 's3://DOC-EXAMPLE-BUCKET/
iis-ncsa-logs
/'; -
Menjalankan kueri di konsol Athena untuk mendaftar
iis_ncsa_logs
Tabel. Saat permintaan selesai, log siap bagi Anda untuk mengkueri dari Athena.
Contoh kueri pilih untuk log IIS NCSA
contoh – Pemfilteran untuk kesalahan 404
Contoh kueri berikut memilih waktu permintaan diterima, teks permintaan klien, dan kode status server dari tabel iis_ncsa_logs
. Klausa WHERE
memfilter untuk kode status HTTP404
(halaman tidak ditemukan).
SELECT request_received_time, client_request, server_status FROM iis_ncsa_logs WHERE server_status = '404'
Gambar berikut menunjukkan hasil kueri di Editor Kueri Athena.
![Kueri log IIS NCSA dari Athena untuk HTTP404Entri.](images/querying-iis-logs-3.png)
contoh – Memfilter untuk permintaan sukses dari domain tertentu
Contoh kueri berikut memilih ID pengguna, waktu permintaan diterima, teks permintaan klien, dan kode status server dari tabel iis_ncsa_logs
. Klausa WHERE
memfilter untuk permintaan dengan kode status HTTP 200
(berhasil) dari pengguna di domain AnyCompany
.
SELECT user_id, request_received_time, client_request, server_status FROM iis_ncsa_logs WHERE server_status = '200' AND user_id LIKE 'AnyCompany%'
Gambar berikut menunjukkan hasil kueri di Editor Kueri Athena.
![Kueri log IIS NCSA dari Athena untuk HTTP200Entri.](images/querying-iis-logs-4.png)