Mencatat lalu lintas IP menggunakan VPC Flow Logs

Log Alur VPC adlaah fitur yang membuat Anda dapat menangkap informasi tentang lalu lintas IP yang pergi ke dan dari antarmuka jaringan. Data log aliran dapat dipublikasikan ke lokasi berikut: Amazon CloudWatch Log, Amazon S3, atau Amazon Data Firehose. Setelah membuat log alur, Anda dapat mengambil dan melihat catatan log alur di grup log, bucket, atau aliran pengiriman yang Anda konfigurasi.

Log alur dapat membantu Anda dengan sejumlah tugas, seperti:

• Mendiagnosis aturan grup keamanan yang terlalu ketat

• Memantau lalu lintas yang mencapai instans Anda

• Menentukan arah lalu lintas ke dan dari antarmuka jaringan

Data log alur dikumpulkan di luar jalur lalu lintas jaringan Anda, dan oleh karena itu tidak mempengaruhi throughput atau latensi jaringan. Anda dapat membuat atau menghapus log alur tanpa risiko dampak terhadap kinerja jaringan.

Daftar Isi

• Dasar-dasar log alur
• Catatan log alur
• Contoh catatan log alur
• Batasan log alur
• Harga
• Bekerja dengan log alur
• Publikasikan log aliran ke CloudWatch Log
• Terbitkan log alur ke Amazon S3
• Publikasikan log alur ke Amazon Data Firehose
• Log alur kueri menggunakan Amazon Athena
• Mengatasi masalah Log Alur VPC

Dasar-dasar log alur

Anda dapat membuat log alur untuk VPC, subnet, atau antarmuka jaringan. Jika Anda membuat log alur untuk subnet atau VPC, setiap antarmuka jaringan di subnet atau VPC dipantau.

Data log alur untuk antarmuka jaringan yang dipantau dicatat sebagai Catatan log alur, yang merupakan log acara yang terdiri dari bidang yang menggambarkan aliran lalu lintas. Untuk informasi selengkapnya, lihat Catatan log alur.

Untuk membuat log alur, Anda menentukan:

• Sumber daya untuk membuat log alur

• Jenis lalu lintas untuk menangkap (lalu lintas yang diterima, lalu lintas yang ditolak, atau semua lalu lintas)

• Tujuan publikasi data log alur Anda

Dalam contoh berikut, Anda membuat log alur yang menangkap lalu lintas yang diterima untuk antarmuka jaringan untuk salah satu instans EC2 di subnet pribadi dan menerbitkan catatan log aliran ke bucket Amazon S3.

Dalam contoh berikut, log alur menangkap semua lalu lintas untuk subnet dan menerbitkan catatan log aliran ke Amazon Logs. CloudWatch Flow log menangkap lalu lintas untuk semua antarmuka jaringan di subnet.

Setelah Anda membuat log alur, dibutuhkan beberapa menit untuk mulai mengumpulkan dan menerbitkan data ke tujuan yang dipilih. Log alur tidak menangkap pengaliran log waktu nyata untuk antarmuka jaringan Anda. Untuk informasi selengkapnya, lihat Membuat log alur.

Jika Anda meluncurkan instance ke subnet Anda setelah Anda membuat log aliran untuk subnet atau VPC Anda, kami membuat aliran log (untuk CloudWatch Log) atau objek file log (untuk Amazon S3) untuk antarmuka jaringan baru segera setelah ada lalu lintas jaringan untuk antarmuka jaringan.

Anda dapat membuat log alur untuk antarmuka jaringan yang dibuat oleh layanan AWS lainnya, seperti:

• Penyeimbang Beban Elastis

• Amazon RDS

• Amazon ElastiCache

• Amazon Redshift

• Amazon WorkSpaces

• Gateway NAT

• Transit gateway

Terlepas dari jenis antarmuka jaringan, Anda harus menggunakan konsol Amazon EC2 atau Amazon EC2 API untuk membuat log alur untuk antarmuka jaringan.

Anda dapat memberikan tag ke log alur Anda. Setiap tanda terdiri dari sebuah kunci dan sebuah nilai opsional, yang keduanya Anda tentukan. Tag dapat membantu Anda mengatur log alur, misalnya berdasarkan tujuan atau pemilik.

Jika Anda tidak lagi membutuhkan log alur, Anda dapat menghapusnya. Menghapus log aliran menonaktifkan layanan log aliran untuk sumber daya, sehingga tidak ada catatan log aliran baru yang dibuat atau diterbitkan. Menghapus log aliran tidak menghapus data log aliran yang ada. Setelah Anda menghapus log aliran, Anda dapat menghapus data log aliran langsung dari tujuan ketika Anda selesai dengan itu. Untuk informasi selengkapnya, lihat Menghapus log alur.

Catatan log alur

Catatan log alur mewakili aliran jaringan di VPC Anda. Secara default, setiap catatan menangkap aliran lalu lintas jaringan internet protocol (IP) (ditandai dengan 5-tuple per antarmuka jaringan) yang terjadi dalam interval agregasi, juga disebut sebagai window pengambilan.

Setiap catatan adalah string dengan bidang yang dipisahkan oleh spasi. Sebuah catatan termasuk nilai-nilai untuk komponen yang berbeda dari aliran IP, misalnya, sumber, tujuan, dan protokol.

Ketika Anda membuat log alur, Anda dapat menggunakan format default untuk catatan log alur, atau Anda dapat menentukan format kustom.

Interval agregasi

Interval agregasi adalah periode waktu di mana aliran tertentu ditangkap dan dikumpulkan ke dalam catatan log alur. Secara default, interval agregasi maksimum adalah 10 menit. Ketika Anda membuat log alur, Anda dapat menentukan interval agregasi maksimum 1 menit. Log alur dengan interval agregasi maksimum 1 menit menghasilkan volume catatan log alur yang lebih tinggi daripada log alur dengan interval agregasi maksimum 10 menit.

Ketika antarmuka jaringan terpasang ke instans berbasis Nitro, interval agregasi selalu 1 menit atau kurang, terlepas dari interval agregasi maksimum yang ditentukan.

Setelah data ditangkap dalam interval agregasi, dibutuhkan waktu tambahan untuk memproses dan mempublikasikan data ke CloudWatch Log atau Amazon S3. Layanan flow log biasanya mengirimkan CloudWatch log ke Log dalam waktu sekitar 5 menit dan ke Amazon S3 dalam waktu sekitar 10 menit. Namun, pengiriman log dilakukan berdasarkan upaya terbaik, dan log Anda mungkin tertunda di luar waktu pengiriman khas.

Format default

Dengan format default, catatan log alur termasuk bidang versi 2, dalam urutan yang ditunjukkan dalam tabel bidang yang tersedia. Anda tidak dapat menyesuaikan atau mengubah format default. Untuk menangkap bidang tambahan atau subset bidang yang berbeda, tentukan format kustom sebagai gantinya.

Format kustom

Dengan format kustom, Anda menentukan bidang yang disertakan dalam catatan log alur dan urutannya. Hal ini mengizinkan Anda untuk membuat log alur yang kustom untuk kebutuhan Anda dan untuk menghilangkan bidang yang tidak relevan. Menggunakan format kustom dapat mengurangi kebutuhan untuk proses terpisah untuk mengekstrak informasi spesifik dari log alur yang diterbitkan. Anda dapat menentukan berapa pun bidang log alur yang tersedia, tetapi Anda harus menentukan setidaknya satu bidang log alur.

Bidang yang tersedia

Tabel berikut menjelaskan semua bidang yang tersedia untuk catatan log alur. Kolom Versi menunjukkan versi Log Alur VPC di mana bidang diperkenalkan. Format default mencakup 2 bidang semua versi, dalam urutan yang sama sebagaimana yang tercantum di tabel.

Saat memublikasikan data log alur ke Amazon S3, tipe data untuk bidang bergantung pada format log alur. Jika formatnya adalah teks biasa, semua bidang bertipeSTRING. Jika formatnya Parket, lihat tabel untuk tipe data bidang.

Jika suatu bidang tidak berlaku atau tidak dapat dihitung untuk catatan tertentu, catatan akan menampilkan simbol '-' untuk entri tersebut. Bidang metadata yang tidak datang langsung dari header paket merupakan perkiraan upaya terbaik, dan nilai-nilainya mungkin meleset atau tidak akurat.

Bidang	Deskripsi	Versi
version	Versi Log Alur VPC. Jika Anda menggunakan format default, versinya adalah 2. Jika Anda menggunakan format kustom, versinya adalah versi tertinggi di antara bidang yang ditentukan. Misalnya, jika Anda menentukan hanya bidang dari versi 2, maka versinya adalah 2. Jika Anda menentukan campuran bidang dari versi 2, 3, dan 4, maka versinya adalah 4. Tipe data parket: INT_32	2
account-id	ID AWS akun pemilik antarmuka jaringan sumber yang lalu lintasnya direkam. Jika antarmuka jaringan dibuat oleh AWS layanan, misalnya saat membuat titik akhir VPC atau Network Load Balancer, rekaman mungkin unknown ditampilkan untuk bidang ini. Jenis data parket: STRING	2
interface-id	ID antarmuka jaringan yang lalu lintasnya dicatat. Jenis data parket: STRING	2
srcaddr	Alamat sumber untuk lalu lintas masuk, atau alamat IPv4 atau IPv6 dari antarmuka jaringan untuk lalu lintas keluar pada antarmuka jaringan. Alamat IPv4 antarmuka jaringan selalu merupakan alamat IPv4 privatnya. Lihat juga pkt-srcaddr. Jenis data parket: STRING	2
dstaddr	Alamat tujuan untuk lalu lintas keluar, atau alamat IPv4 atau IPv6 dari antarmuka jaringan untuk lalu lintas masuk pada antarmuka jaringan. Alamat IPv4 antarmuka jaringan selalu merupakan alamat IPv4 privatnya. Lihat juga pkt-dstaddr. Jenis data parket: STRING	2
srcport	Port sumber lalu lintas. Tipe data parket: INT_32	2
dstport	Port tujuan lalu lintas. Tipe data parket: INT_32	2
protocol	Nomor protokol IANA lalu lintas. Untuk informasi selengkapnya, lihat Nomor Protokol Internet yang Ditugaskan. Tipe data parket: INT_32	2
packets	Jumlah paket yang ditransfer selama aliran. Tipe data parket: INT_64	2
bytes	Jumlah byte yang ditransfer selama aliran. Tipe data parket: INT_64	2
start	Waktu, dalam detik Unix, ketika paket pertama aliran diterima dalam interval agregasi. Ini mungkin sampai 60 detik setelah paket ditransmisikan atau diterima pada antarmuka jaringan. Tipe data parket: INT_64	2
end	Waktu, dalam detik Unix, ketika paket terakhir dari aliran diterima dalam interval agregasi. Ini mungkin sampai 60 detik setelah paket ditransmisikan atau diterima pada antarmuka jaringan. Tipe data parket: INT_64	2
action	Tindakan yang terkait dengan lalu lintas: ACCEPTLalu lintas diterima. REJECTLalu lintas ditolak. Misalnya, lalu lintas tidak diizinkan oleh grup keamanan atau ACL jaringan, atau paket tiba setelah koneksi ditutup. Jenis data parket: STRING	2
log-status	Status pencatatan log alur: OK — Data log secara normal ke tujuan yang dipilih. NODATA — Tidak ada lalu lintas jaringan ke atau dari antarmuka jaringan selama interval agregasi. SKIPDATA — Beberapa catatan log alur dilewati selama interval agregasi. Ini mungkin karena kendala kapasitas internal, atau kesalahan internal. Jenis data parket: STRING	2
vpc-id	ID VPC yang berisi antarmuka jaringan yang lalu lintasnya dicatat. Jenis data parket: STRING	3
subnet-id	ID subnet yang berisi antarmuka jaringan yang lalu lintasnya dicatat. Jenis data parket: STRING	3
instance-id	ID instans yang terkait dengan antarmuka jaringan yang lalu lintasnya dicatat, jika instans dimiliki oleh Anda. Mengembalikan simbol '-' untuk Antarmuka jaringan yang dikelola peminta; sebagai contoh, antaramuka untuk NAT gateway. Jenis data parket: STRING	3
tcp-flags	Nilai bitmask untuk bendera TCP berikut: FIN — 1 SYN — 2 RST — 4 SYN-ACK — 18 Jika tidak ada flag yang didukung direkam, nilai flag TCP adalah 0. Misalnya, karena tcp-flags tidak mendukung pencatatan bendera ACK atau PSH, catatan untuk lalu lintas dengan flag yang tidak didukung ini akan menghasilkan nilai tcp-flags 0. Namun, jika bendera yang tidak didukung disertai dengan bendera yang didukung, kami akan melaporkan nilai bendera yang didukung. Misalnya, jika ACK adalah bagian dari SYN-ACK, ia melaporkan 18. Dan jika ada catatan seperti SYN+ECE, karena SYN adalah bendera yang didukung dan ECE tidak, nilai bendera TCP adalah 2. Jika karena alasan tertentu kombinasi bendera tidak valid dan nilainya tidak dapat dihitung, nilainya adalah. - Jika tidak ada bendera yang dikirim, nilai bendera TCP adalah 0. Bendera TCP dapat OR-ed selama interval agregasi. Untuk koneksi pendek, bendera mungkin diatur pada baris yang sama dalam catatan log alur, misalnya, 19 untuk SYN-ACK dan FIN, dan 3 untuk SYN dan FIN. Sebagai contoh, lihat Urutan bendera TCP. Untuk informasi umum tentang bendera TCP (seperti arti bendera seperti FIN, SYN, dan ACK), lihat Struktur segmen TCP di Wikipedia. Tipe data parket: INT_32	3
type	Jenis lalu lintas. Nilai yang mungkin adalah: IPv4 | IPv6 |EFA. Untuk informasi selengkapnya, lihat Adaptor Elastic Fabric. Jenis data parket: STRING	3
pkt-srcaddr	Alamat IP sumber tingkat paket (asli) lalu lintas. Gunakan bidang ini dengan bidang srcaddr untuk membedakan antara alamat IP dari lapisan menengah yang dilalui alairan lalu lintas, dan alamat IP sumber asal dari lalu lintas. Misalnya, saat lalu lintas mengalir melalui antarmuka jaringan NAT gateway, atau di mana alamat IP dari pod di Amazon EKS berbeda dari alamat IP dari antarmuka jaringan dari simpul instans di mana pod berjalan (untuk komunikasi dalam VPC). Jenis data parket: STRING	3
pkt-dstaddr	Alamat IP tujuan tingkat paket (asli) untuk lalu lintas. Gunakan bidang ini dengan bidang dstaddr untuk membedakan antara alamat IP dari lapisan menengah yang dilalui alairan lalu lintas, dan alamat IP tujuan akhir dari lalu lintas. Misalnya, saat lalu lintas mengalir antaramuka jaringan untuk NAT gateway, atau di mana alamat IP dari pod di Amazon EKS berbeda dari alamat IP dari antarmuka jaringan dari simpul instans di mana pod berjalan (untuk komunikasi dalam VPC). Jenis data parket: STRING	3
region	Wilayah yang berisi antarmuka jaringan yang lalu lintasnya dicatat. Jenis data parket: STRING	4
az-id	ID dari Availability Zone yang berisi antarmuka jaringan yang lalu lintasnya dicatat. Jika lalu lintas berasal dari sublokasi, catatan akan menampilkan simbol '-' untuk bidang ini. Jenis data parket: STRING	4
sublocation-type	Jenis sublokasi yang dikembalikan dalam bidang sublocation-id. Nilai yang mungkin adalah: wavelength | outpost | localzone. Jika lalu lintas bukan dari sublokasi, catatan menampilkan simbol '-' untuk bidang ini. Jenis data parket: STRING	4
sublocation-id	ID sublokasi yang berisi antarmuka jaringan yang lalu lintasnya dicatat. Jika lalu lintas bukan dari sublokasi, catatan menampilkan simbol '-' untuk bidang ini. Jenis data parket: STRING	4
pkt-src-aws-service	Nama subset alamat IP berkisar untuk pkt-srcaddr bidang, jika alamat IP sumber adalah untuk AWS layanan. Nilai yang mungkin adalah: AMAZON AMAZON_APPFLOW | AMAZON_CONNECT | API_GATEWAY CHIME_MEETINGS | CHIME_VOICECONNECTOR | CLOUD9 | CLOUDFRONT | CODEBUILD | DYNAMODB | EBS EC2 | EC2_INSTANCE_CONNECT | GLOBALACCELERATOR | KINESIS_VIDEO_STREAMS | ROUTE53 | ROUTE53_HEALTHCHECKS ROUTE53_HEALTHCHECKS_PUBLISHING | ROUTE53_RESOLVER | S3 | | WORKSPACES_GATEWAYS Jenis data parket: STRING	5
pkt-dst-aws-service	Nama subset alamat IP berkisar untuk pkt-dstaddr bidang, jika alamat IP tujuan adalah untuk AWS layanan. Untuk daftar kemungkinan nilai, lihat bidang pkt-src-aws-service. Jenis data parket: STRING	5
flow-direction	Arah aliran sehubungan dengan antarmuka di mana lalu lintas ditangkap. Kemungkinan nilai adalah: ingress | egress. Jenis data parket: STRING	5
traffic-path	Jalan yang dilalui lalu lintas egress untuk ke tujuan. Untuk menentukan apakah lalu lintas merupakan lalu lintas keluar, periksa bidang flow-direction. Kemungkinan nilainya adalah sebagai berikut. Jika tidak ada nilai yang berlaku, bidang diatur ke -. 1 — Melalui sumber daya lain di VPC yang sama, termasuk sumber daya yang membuat antarmuka jaringan di VPC 2 — Melalui gateway internet atau gateway VPC endpoint 3 — Melalui virtual private gateway 4 — Melalui koneksi peering VPC dalam wilayah 5 — Melalui koneksi peering VPC antar wilayah 6 — Melalui gateway lokal 7 — Melalui VPC endpoint gateway (instans berbasis Nitro saja) 8 — Melalui gateway internet (instans berbasis Nitro saja) Tipe data parket: INT_32	5

Batasan log alur

Untuk menggunakan log alur , Anda perlu memahami batasan-batasan berikut:

• Anda tidak dapat mengaktifkan log alur untuk VPC yang di-peering-kan dengan VPC Anda kecuali VPC peer berada di akun Anda.

• Setelah Anda membuat log aliran, Anda tidak dapat mengubah konfigurasinya atau format catatan log aliran. Misalnya, Anda tidak dapat mengaitkan IAM role yang berbeda dengan log alur, atau menambahkan atau menghapus bidang dalam catatan log alur. Sebaliknya, Anda dapat menghapus log alur dan membuat yang baru dengan konfigurasi yang diperlukan.

• Jika antarmuka jaringan Anda memiliki beberapa alamat IPv4 dan lalu lintas dikirim ke alamat IPv4 privat sekunder, log alur menampilkan alamat IPv4 privat utama di bidang dstaddr. Untuk menangkap alamat IP tujuan asal, buat log alur dengan bidang pkt-dstaddr.

• Jika lalu lintas dikirim ke antarmuka jaringan dan tujuan bukan salah satu alamat IP antarmuka jaringan, log alur menampilkan alamat IPv4 privat utama di bidang dstaddr. Untuk menangkap alamat IP tujuan asal, buat log alur dengan bidang pkt-dstaddr.

• Jika lalu lintas dikirim dari antarmuka jaringan dan sumber bukan salah satu alamat IP antarmuka jaringan, log alur menampilkan alamat IPv4 privat utama di bidang srcaddr. Untuk menangkap alamat IP sumber asal, buat log alur dengan bidang pkt-srcaddr.

• Jika lalu lintas dikirim ke atau dikirim dari antarmuka jaringan, bidang srcaddr dan dstaddr di log alur selalu menampilkan alamat IPv4 privat utama, terlepas dari sumber paket atau tujuan. Untuk menangkap sumber paket atau tujuan, buat log alur dengan bidang pkt-srcaddr dan pkt-dstaddr.

• Saat antarmuka jaringan Anda terpasang ke Instans berbasis Nitro, interval agregasi selalu 1 menit atau kurang, terlepas dari interval agregasi maksimum yang ditentukan.

Log alur tidak menangkap semua lalu lintas IP. Jenis lalu lintas berikut tidak dicatat:

• Lalu lintas yang dihasilkan oleh instans ketika menghubungi server DNS Amazon. Jika Anda menggunakan server DNS Anda sendiri, maka semua lalu lintas ke server DNS tersebut dicatat.

• Lalu lintas yang dihasilkan oleh instans Windows untuk aktivasi lisensi Amazon Windows.

• Lalu lintas ke dan dari 169.254.169.254 untuk metadata instans.

• Lalu lintas ke dan dari 169.254.169.123 untuk layanan Amazon Time Sync.

• Lalu lintas DHCP.

• Lalu lintas cermin.

• Lalu lintas ke alamat IP yang dipesan untuk router VPC default.

• Lalu lintas antara antarmuka jaringan titik akhir dan antarmuka jaringan Penyeimbang Beban Jaringan.

Harga

Biaya konsumsi data dan arsip untuk log vended berlaku saat Anda mempublikasikan log aliran. Untuk informasi selengkapnya tentang harga saat menerbitkan log penjual, buka CloudWatch Harga Amazon, pilih Log, dan temukan Log Terjual.

Untuk melacak biaya dari log alur penerbitan, Anda dapat menerapkan tag alokasi biaya ke sumber daya tujuan Anda. Setelah itu, laporan alokasi AWS biaya Anda mencakup penggunaan dan biaya yang dikumpulkan oleh tag ini. Anda dapat menerapkan tag yang mewakili kategori bisnis (seperti pusat biaya, nama aplikasi, atau pemilik) untuk mengatur biaya Anda. Untuk informasi selengkapnya, lihat hal berikut:

• Menggunakan Tanda Alokasi Biaya dalam AWS Billing Panduan Pengguna

• Tandai grup log di CloudWatch Log Amazon di Panduan Pengguna CloudWatch Log Amazon

• Menggunakan tag bucket S3 alokasi biaya di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon

• Menandai Aliran Pengiriman Anda di Panduan Pengembang Amazon Data Firehose