Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menggunakan log akses server Amazon S3 untuk mengidentifikasi permintaan
Anda dapat mengidentifikasi permintaan Amazon S3 dengan pencatatan akses server Amazon S3.
catatan
-
Untuk mengidentifikasi permintaan Amazon S3, sebaiknya gunakan peristiwa AWS CloudTrail data alih-alih log akses server Amazon S3. CloudTrail peristiwa data lebih mudah diatur dan berisi informasi lebih lanjut. Untuk informasi selengkapnya, lihat Mengidentifikasi permintaan Amazon S3 menggunakan CloudTrail.
-
Bergantung pada berapa banyak permintaan akses yang Anda dapatkan, menganalisis log Anda mungkin memerlukan lebih banyak sumber daya atau waktu daripada menggunakan peristiwa CloudTrail data.
Topik
Melakukan kueri pencatatan akses untuk permintaan dengan menggunakan Amazon Athena
Anda dapat mengidentifikasi permintaan Amazon S3 dengan log akses Amazon S3 menggunakan Amazon Athena.
Amazon S3 menyimpan log akses server sebagai objek dalam bucket S3. Sering kali lebih mudah menggunakan alat yang dapat menganalisis log di Amazon S3. Athena mendukung analisis S3 Object dan dapat digunakan untuk mencari log akses Amazon S3.
contoh
Contoh berikut menunjukkan bagaimana Anda dapat melakukan kueri log akses server Amazon S3 di Amazon Athena. Ganti yang
digunakan dalam contoh berikut dengan informasi Anda sendiri.user input placeholders
catatan
Untuk menentukan lokasi Amazon S3 dalam kueri Athena, Anda harus memberikan S3 URI untuk bucket tempat log Anda dikirimkan. Ini URI harus menyertakan nama bucket dan awalan dalam format berikut: s3://
amzn-s3-demo-bucket1
-logs/prefix
/
Buka konsol Athena di https://console.aws.amazon.com/athena/
. -
Dalam Editor Kueri, jalankan perintah yang mirip dengan berikut ini. Ganti
dengan nama yang ingin Anda berikan ke basis data Anda.s3_access_logs_db
CREATE DATABASE
s3_access_logs_db
catatan
Ini adalah praktik terbaik untuk membuat database yang Wilayah AWS sama dengan bucket S3 Anda.
-
Dalam Query Editor, jalankan perintah yang mirip dengan perintah berikut untuk membuat skema tabel di basis data yang Anda buat di langkah 2. Ganti
dengan nama yang ingin Anda berikan ke meja Anda. Nilai jenis datas3_access_logs_db.mybucket_logs
STRING
danBIGINT
adalah properti log akses. Anda dapat mencari properti ini di Athena. UntukLOCATION
, masukkan bucket S3 dan jalur prefiks seperti yang disebutkan sebelumnya.CREATE EXTERNAL TABLE `
s3_access_logs_db.mybucket_logs
`( `bucketowner` STRING, `bucket_name` STRING, `requestdatetime` STRING, `remoteip` STRING, `requester` STRING, `requestid` STRING, `operation` STRING, `key` STRING, `request_uri` STRING, `httpstatus` STRING, `errorcode` STRING, `bytessent` BIGINT, `objectsize` BIGINT, `totaltime` STRING, `turnaroundtime` STRING, `referrer` STRING, `useragent` STRING, `versionid` STRING, `hostid` STRING, `sigv` STRING, `ciphersuite` STRING, `authtype` STRING, `endpoint` STRING, `tlsversion` STRING, `accesspointarn` STRING, `aclrequired` STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' WITH SERDEPROPERTIES ( 'input.regex'='([^ ]*) ([^ ]*) \\[(.*?)\\] ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (\"[^\"]*\"|-) (-|[0-9]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (\"[^\"]*\"|-) ([^ ]*)(?: ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*))?.*$') STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 's3://amzn-s3-demo-bucket1-logs/prefix/
' -
Dalam panel navigasi, pada Basis Data, pilih basis data Anda.
-
Pada Tabel, pilih Tabel pratinjau di sebelah nama tabel Anda.
Di panel Hasil, Anda akan melihat data dari log akses server, seperti
bucketowner
,bucket
,requestdatetime
, dan sebagainya. Ini berarti Anda berhasil membuat tabel Athena. Sekarang Anda dapat mengkueri log akses server Amazon S3.
contoh — Tampilkan siapa yang menghapus objek dan kapan (stempel waktu, alamat IP, dan IAM pengguna)
SELECT requestdatetime, remoteip, requester, key FROM
s3_access_logs_db.mybucket_logs
WHERE key = 'images/picture.jpg
' AND operation like '%DELETE%';
contoh — Tampilkan semua operasi yang dilakukan oleh IAM pengguna
SELECT * FROM
s3_access_logs_db.mybucket_logs
WHERE requester='arn:aws:iam::123456789123
:user/user_name
';
contoh — Menunjukkan semua operasi yang dilakukan pada objek dalam periode waktu tertentu
SELECT * FROM
s3_access_logs_db.mybucket_logs
WHERE Key='prefix/images/picture.jpg
' AND parse_datetime(requestdatetime,'dd/MMM/yyyy:HH:mm:ss Z') BETWEEN parse_datetime('2017-02-18:07:00:00
','yyyy-MM-dd:HH:mm:ss') AND parse_datetime('2017-02-18:08:00:00
','yyyy-MM-dd:HH:mm:ss');
contoh — Menunjukkan berapa banyak data yang dipindahkan ke alamat IP tertentu dalam periode waktu tertentu
SELECT coalesce(SUM(bytessent), 0) AS bytessenttotal FROM
s3_access_logs_db.mybucket_logs
WHERE remoteip='192.0.2.1' AND parse_datetime(requestdatetime,'dd/MMM/yyyy:HH:mm:ss Z') BETWEEN parse_datetime('2022-06-01
','yyyy-MM-dd') AND parse_datetime('2022-07-01
','yyyy-MM-dd');
catatan
Untuk mengurangi waktu dalam mempertahankan pencatatan, Anda dapat membuat konfigurasi Siklus Hidup S3 untuk bucket pencatatan akses server Anda. Buat aturan konfigurasi siklus aktif untuk menghapus file log secara berkala. Hal ini mengurangi jumlah data yang dianalisis oleh Athena untuk setiap kueri. Untuk informasi selengkapnya, lihat Menyetel konfigurasi siklus hidup pada bucket.
Mengidentifikasi permintaan Signature Version 2 menggunakan pencatatan akses Amazon S3
Dukungan Amazon S3 untuk Signature Version 2 akan dinonaktifkan (dihentikan). Setelah itu, Amazon S3 tidak akan menerima lagi permintaan yang menggunakan Signature Version 2, dan semua permintaan harus menggunakan penandatanganan Signature Version 4. Anda dapat mengidentifikasi permintaan akses Signature Version 2 menggunakan log akses Amazon S3.
catatan
Untuk mengidentifikasi permintaan Signature Version 2, sebaiknya gunakan peristiwa AWS CloudTrail data, bukan log akses server Amazon S3. CloudTrail peristiwa data lebih mudah diatur dan berisi lebih banyak informasi daripada log akses server. Untuk informasi selengkapnya, lihat Mengidentifikasi permintaan Amazon S3 Signature Version 2 dengan menggunakan CloudTrail.
contoh — Menunjukkan semua peminta yang mengirimkan lalu lintas Signature Version 2
SELECT requester, sigv, Count(sigv) as sigcount FROM
s3_access_logs_db.mybucket_logs
GROUP BY requester, sigv;
Mengidentifikasi permintaan akses objek dengan menggunakan pencatatan akses Amazon S3
Anda dapat menggunakan kueri di log akses server Amazon S3 untuk mengidentifikasi permintaan akses objek Amazon S3, untuk operasi seperti GET
, PUT
, dan DELETE
, lalu menemukan informasi lebih lanjut tentang permintaan tersebut.
Contoh kueri Amazon Athena berikut menunjukkan cara mendapatkan semua permintaan objek PUT
untuk Amazon S3 dari log akses server.
contoh — Menunjukkan semua peminta yang mengirimkan permintaan objek PUT
dalam periode tertentu
SELECT bucket_name, requester, remoteip, key, httpstatus, errorcode, requestdatetime FROM
s3_access_logs_db
WHERE operation='REST.PUT.OBJECT' AND parse_datetime(requestdatetime,'dd/MMM/yyyy:HH:mm:ss Z') BETWEEN parse_datetime('2019-07-01:00:42:42
','yyyy-MM-dd:HH:mm:ss') AND parse_datetime('2019-07-02:00:42:42'
,'yyyy-MM-dd:HH:mm:ss')
Contoh kueri Amazon Athena berikut menunjukkan cara mendapatkan semua permintaan objek GET
untuk Amazon S3 dari log akses server.
contoh — Menunjukkan semua peminta yang mengirimkan permintaan objek GET
dalam periode tertentu
SELECT bucket_name, requester, remoteip, key, httpstatus, errorcode, requestdatetime FROM
s3_access_logs_db
WHERE operation='REST.GET.OBJECT' AND parse_datetime(requestdatetime,'dd/MMM/yyyy:HH:mm:ss Z') BETWEEN parse_datetime('2019-07-01:00:42:42
','yyyy-MM-dd:HH:mm:ss') AND parse_datetime('2019-07-02:00:42:42'
,'yyyy-MM-dd:HH:mm:ss')
Contoh kueri Amazon Athena berikut menunjukkan cara mendapatkan semua permintaan anonim ke bucket S3 Anda dari log akses server.
contoh — Menunjukkan semua pemohon anonim yang membuat permintaan ke bucket selama periode tertentu
SELECT bucket_name, requester, remoteip, key, httpstatus, errorcode, requestdatetime FROM
s3_access_logs_db.mybucket_logs
WHERE requester IS NULL AND parse_datetime(requestdatetime,'dd/MMM/yyyy:HH:mm:ss Z') BETWEEN parse_datetime('2019-07-01:00:42:42
','yyyy-MM-dd:HH:mm:ss') AND parse_datetime('2019-07-02:00:42:42'
,'yyyy-MM-dd:HH:mm:ss')
Kueri Amazon Athena berikut menunjukkan cara mengidentifikasi semua permintaan ke bucket S3 Anda yang memerlukan daftar kontrol akses () ACL untuk otorisasi. Anda dapat menggunakan informasi ini untuk memigrasikan ACL izin tersebut ke kebijakan bucket yang sesuai dan menonaktifkannya. ACLs Setelah membuat kebijakan bucket ini, Anda dapat ACLs menonaktifkan bucket ini. Untuk informasi selengkapnya tentang menonaktifkanACLs, lihat. Prasyarat untuk menonaktifkan ACLs
contoh — Identifikasi semua permintaan yang ACL memerlukan otorisasi
SELECT bucket_name, requester, key, operation, aclrequired, requestdatetime FROM
s3_access_logs_db
WHERE aclrequired = 'Yes' AND parse_datetime(requestdatetime,'dd/MMM/yyyy:HH:mm:ss Z') BETWEEN parse_datetime('2022-05-10:00:00:00
','yyyy-MM-dd:HH:mm:ss') AND parse_datetime('2022-08-10:00:00:00'
,'yyyy-MM-dd:HH:mm:ss')
catatan
-
Anda dapat mengubah rentang tanggal sesuai kebutuhan.
-
Contoh kueri ini juga dapat berguna untuk pemantauan keamanan. Anda dapat meninjau hasil untuk panggilan
PutObject
atauGetObject
dari alamat IP yang tidak terduga atau tidak sah atau pemohon, dan untuk mengidentifikasi permintaan anonim ke bucket Anda. -
Kueri ini hanya mengambil informasi dari waktu saat pencatatan log diaktifkan.
-
Jika Anda menggunakan AWS CloudTrail log, lihatMengidentifikasi akses ke objek S3 dengan menggunakan CloudTrail.