Berkas log alur

VPCFlow Logs mengumpulkan data tentang lalu lintas IP yang masuk VPC ke dan dari catatan log Anda, menggabungkan catatan tersebut ke dalam file log, dan kemudian menerbitkan file log ke bucket Amazon S3 dengan interval 5 menit. Beberapa file dapat dipublikasikan dan setiap file log mungkin berisi beberapa atau semua catatan log aliran untuk lalu lintas IP yang direkam dalam 5 menit sebelumnya.

Dalam Amazon S3, bidang Terakhir diubah untuk berkas log alur menunjukkan tanggal dan waktu di mana file diunggah ke Amazon S3 bucket. Ini lebih lambat dari stempel waktu dalam nama file, dan berbeda dengan jumlah waktu yang dibutuhkan untuk mengunggah file ke bucket Amazon S3.

Format file log

Anda dapat menentukan salah satu format berikut untuk file log. Setiap file dikompresi menjadi satu file Gzip.

• Teks — Teks biasa. Ini adalah format default.

• Parket - Apache Parquet adalah format data kolumnar. Kueri pada data dalam format Parket 10 hingga 100 kali lebih cepat dibandingkan dengan kueri pada data dalam teks biasa. Data dalam format Parket dengan kompresi Gzip membutuhkan ruang penyimpanan 20 persen lebih sedikit daripada teks biasa dengan kompresi Gzip.

catatan

Jika data dalam format Parket dengan kompresi Gzip kurang dari 100 KB per periode agregasi, menyimpan data dalam format Parket mungkin memakan lebih banyak ruang daripada teks biasa dengan kompresi Gzip karena persyaratan memori file Parket.

Opsi file log

Anda dapat secara opsional menentukan opsi berikut.

• Awalan S3 yang kompatibel dengan HIVE - Aktifkan awalan yang kompatibel dengan HIVE alih-alih mengimpor partisi ke alat yang kompatibel dengan HIVE Anda. Sebelum Anda menjalankan kueri, gunakan MSCK REPAIR TABLE perintah.

• Partisi per jam - Jika Anda memiliki volume log yang besar dan biasanya menargetkan kueri ke jam tertentu, Anda bisa mendapatkan hasil yang lebih cepat dan menghemat biaya kueri dengan mempartisi log setiap jam.

Struktur ember S3 file log

File log disimpan ke bucket Amazon S3 yang ditentukan menggunakan struktur folder yang didasarkan pada opsi ID, Wilayah, tanggal pembuatan, dan tujuan log alur.

Secara default, file dikirim ke lokasi berikut.

bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/

Jika Anda mengaktifkan awalan S3 yang kompatibel dengan HIVE, file akan dikirim ke lokasi berikut.

bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/

Jika Anda mengaktifkan partisi per jam, file dikirim ke lokasi berikut.

bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/

Jika Anda mengaktifkan partisi yang kompatibel dengan HIVE dan mempartisi log aliran per jam, file dikirim ke lokasi berikut.

bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/

Nama berkas log

Nama file file log didasarkan pada ID log aliran, Wilayah, dan tanggal dan waktu pembuatan. Nama file menggunakan format berikut.

aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gz

Berikut ini adalah contoh file log untuk log alur yang dibuat oleh AWS akun123456789012, untuk sumber daya di us-east-1 Wilayah, June 20, 2018 di16:20 UTC. File berisi catatan log aliran dengan waktu akhir antara 16:20:00 dan16:24:59.

123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz