Berkas log alur Izin untuk prinsipal IAM yang menerbitkan log alur ke Amazon S3 Izin bucket Amazon S3 untuk log alur Kebijakan kunci yang diperlukan untuk digunakan dengan SSE-KMS Izin file berkas log Amazon S3 Membuat log alur yang menerbitkan ke Amazon S3 Melihat catatan log alur Catatan log alur proses di Amazon S3

Terbitkan log alur ke Amazon S3

Arus log dapat menerbitkan data log alur ke Amazon S3.

Ketika menerbitkan ke Amazon S3, data log alur diterbitkan ke bucket Amazon S3 yang ada yang Anda tentukan. Catatan log alur untuk semua antarmuka jaringan yang dipantau diterbitkan untuk serangkaian objek file berkas log yang disimpan dalam bucket. Jika log alur menangkap data untuk VPC, log alur menerbitkan catatan log alur untuk semua antarmuka jaringan di VPC yang dipilih.

Untuk membuat bucket Amazon S3 untuk digunakan dengan flow log, lihatBuat emberdiPanduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Untuk informasi selengkapnya tentang pencatatan beberapa akun, lihat Pencatatan Pusat dalam Perpustakaan Solusi AWS.

Untuk informasi lebih lanjut tentang CloudWatch Log, lihatLog dikirim ke Amazon S3diAmazon CloudWatch Panduan Pengguna Log.

Harga

Biaya penggunaan dan pengarsipan data untuk log penjual otomatis berlaku saat Anda menerbitkan log alur ke Amazon S3. Untuk informasi lebih lanjut, bukaAmazon CloudWatch Harga, pilihLogdan temukanLog Terjual.

Daftar Isi

Berkas log alur
Izin untuk prinsipal IAM yang menerbitkan log alur ke Amazon S3
Izin bucket Amazon S3 untuk log alur
Kebijakan kunci yang diperlukan untuk digunakan dengan SSE-KMS
Izin file berkas log Amazon S3
Membuat log alur yang menerbitkan ke Amazon S3
Melihat catatan log alur
Catatan log alur proses di Amazon S3

Berkas log alur

VPC Flow Logs mengumpulkan catatan log aliran, mengkonsolidasikannya ke dalam file log, dan kemudian menerbitkan file log ke bucket Amazon S3 dengan interval 5 menit. Setiap file berkas log berisi catatan log alur untuk lalu lintas IP yang dicatat dalam lima menit sebelumnya.

Ukuran file maksimum untuk berkas log adalah 75 MB. File berkas log mencapai batas ukuran file dalam periode 5 menit, log alur berhenti menambahkan catatan log alur kepadanya. Kemudian menerbitkan log alur ke bucket Amazon S3, dan membuat file berkas log baru.

Dalam Amazon S3, bidang Terakhir diubah untuk berkas log alur menunjukkan tanggal dan waktu di mana file diunggah ke Amazon S3 bucket. Ini lebih lambat dari stempel waktu dalam nama file, dan berbeda dengan jumlah waktu yang dibutuhkan untuk mengunggah file ke bucket Amazon S3.

Format file log

Anda dapat menentukan salah satu format berikut untuk file log. Setiap file dikompresi menjadi satu file Gzip.

Teks— Teks biasa. Ini adalah format default.
ParketApache Parquet adalah format data kolumnar. Kueri pada data dalam format Parket 10 hingga 100 kali lebih cepat dibandingkan dengan kueri pada data dalam teks biasa. Data dalam format Parket dengan kompresi Gzip membutuhkan ruang penyimpanan 20 persen lebih sedikit daripada teks biasa dengan kompresi Gzip.

catatan

Jika data dalam format Parket dengan kompresi Gzip kurang dari 100 KB per periode agregasi, menyimpan data dalam format Parket mungkin memakan lebih banyak ruang daripada teks biasa dengan kompresi Gzip karena persyaratan memori file Parket.

Opsi berkas log

Anda dapat secara opsional menentukan opsi berikut.

Awalan S3 yang kompatibel dengan HIVE— Aktifkan awalan yang kompatibel dengan HIVE alih-alih mengimpor partisi ke alat yang kompatibel dengan HIVE Anda. Sebelum Anda menjalankan kueri, gunakanMSCK REPAIR TABLEperintah.
Partisi per jam— Jika Anda memiliki volume log yang besar dan biasanya menargetkan kueri ke jam tertentu, Anda bisa mendapatkan hasil yang lebih cepat dan menghemat biaya kueri dengan mempartisi log setiap jam.

Struktur ember S3 file log

File log disimpan ke bucket Amazon S3 yang ditentukan menggunakan struktur folder yang didasarkan pada opsi ID, Wilayah, tanggal pembuatan, dan tujuan log alur.

Secara default, file dikirim ke lokasi berikut.


bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/

Jika Anda mengaktifkan awalan S3 yang kompatibel dengan HIVE, file akan dikirim ke lokasi berikut.


bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/

Jika Anda mengaktifkan partisi per jam, file dikirim ke lokasi berikut.


bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/

Jika Anda mengaktifkan partisi yang kompatibel dengan HIVE dan mempartisi log aliran per jam, file dikirim ke lokasi berikut.


bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/

Nama berkas log

Nama file file log didasarkan pada ID log aliran, Wilayah, dan tanggal dan waktu pembuatan. Nama file menggunakan format berikut.


aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gz

Berikut ini adalah contoh file log untuk log aliran yang dibuat olehAWSakun123456789012, untuk sumber daya dius-east-1Wilayah, diJune 20, 2018pada16:20 UTC. File berisi catatan log aliran dengan waktu akhir antara16:20:00dan16:24:59.


123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz

Izin untuk prinsipal IAM yang menerbitkan log alur ke Amazon S3

Prinsipal IAM yang membuat log alur harus menggunakan peran IAM yang memiliki izin berikut, yang diperlukan untuk mempublikasikan log aliran ke bucket Amazon S3 tujuan.


{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogDelivery",
        "logs:DeleteLogDelivery"
      ],
      "Resource": "*"
    }
  ]
}

Izin bucket Amazon S3 untuk log alur

Objek dan bucket Amazon S3 secara default bersifat privat. Hanya pemilik bucket yang bisa mengakses bucket dan objek yang tersimpan di dalamnya. Namun, pemilik bucket dapat memberikan akses kepada sumber daya dan pengguna lain dengan menulis kebijakan akses.

Jika pengguna yang membuat log alur memiliki bucket dan memilikiPutBucketPolicydanGetBucketPolicyizin untuk bucket, kami secara otomatis melampirkan kebijakan berikut ke bucket. Kebijakan ini akan menggantikan kebijakan yang sebelumnya sudah melekat pada bucket.

Jika tidak, pemilik bucket harus menambahkan kebijakan ini ke bucket, dengan menentukanAWSID akun pembuat log aliran, atau pembuatan log alur gagal. Untuk informasi lebih lanjut, lihatMenggunakan kebijakan bucketdiPanduan Pengguna Layanan Penyimpanan Sederhana Amazon.


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AWSLogDeliveryWrite",
            "Effect": "Allow",
            "Principal": {
                "Service": "delivery.logs.amazonaws.com"
            },
            "Action": "s3:PutObject",
            "Resource": "my-s3-arn/*",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": account_id,
                    "s3:x-amz-acl": "bucket-owner-full-control"
                },
                "ArnLike": {
                    "aws:SourceArn": "arn:aws:logs:region:account_id:*"
                }
            }
        },
        {
            "Sid": "AWSLogDeliveryAclCheck",
            "Effect": "Allow",
            "Principal": {
                "Service": "delivery.logs.amazonaws.com"
            },
            "Action": [
                "s3:GetBucketAcl",
                "s3:ListBucket"
            ],
            "Resource": "arn:aws:s3:::bucket_name",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": account_id
                },
                "ArnLike": {
                    "aws:SourceArn": "arn:aws:logs:region:account_id:*"
                }
            }
        }
    ]
}

ARN yang Anda tentukanmy-s3-arntergantung pada apakah Anda menggunakan awalan S3 yang kompatibel dengan HIVE.

Awalan default


arn:aws:s3:::bucket_name/optional_folder/AWSLogs/account_id/*

Awalan S3 yang kompatibel dengan HIVE


arn:aws:s3:::bucket_name/optional_folder/AWSLogs/aws-account-id=account_id/*

Merupakan praktik terbaik untuk memberikan izin ini kepada prinsipal layanan pengiriman log alih-alih individuAkun AWSARN. Ini juga merupakan praktik terbaik untuk menggunakanaws:SourceAccountdanaws:SourceArnkunci kondisi untuk melindungimasalah wakil yang bingung. Akun sumber adalah pemilik log aliran dan sumber ARN adalah wildcard (*) ARN dari layanan log.

Kebijakan kunci yang diperlukan untuk digunakan dengan SSE-KMS

Anda dapat melindungi data di bucket Amazon S3 dengan mengaktifkan Enkripsi Sisi Server dengan Amazon S3-Managed Keys (SSE-S3) atau Enkripsi Sisi Server dengan Kunci KMS (SSE-KMS). Untuk informasi selengkapnya, lihat Melindungi data menggunakan enkripsi sisi server di Panduan Pengguna Amazon S3.

Jika Anda memilih SSE-S3, tidak diperlukan konfigurasi tambahan. Amazon S3 menangani kunci enkripsi.

Jika Anda memilih SSE-KMS, Anda harus menggunakan ARN kunci yang dikelola pelanggan. Jika Anda menggunakan ID kunci, Anda dapat mengalamiLogDestination tidak terkirimkesalahan saat membuat log aliran. Selain itu, Anda harus memperbarui kebijakan kunci untuk kunci terkelola pelanggan Anda sehingga akun pengiriman log dapat menulis ke bucket S3 Anda. Untuk informasi selengkapnya tentang kebijakan kunci yang diperlukan untuk digunakan dengan SSE-KMS, lihatEnkripsi sisi server bucket Amazon S3diAmazon CloudWatch Panduan Pengguna Log.

Izin file berkas log Amazon S3

Selain kebijakan bucket yang diperlukan, Amazon S3 menggunakan daftar kontrol akses (ACL) untuk mengelola akses ke berkas log yang dibuat oleh log alur. Secara default, pemilik bucket memiliki izin FULL_CONTROL pada setiap file berkas log. Pemilik pengiriman log, jika berbeda dari pemilik bucket, tidak memiliki izin. Akun pengiriman log memiliki izin READ dan WRITE. Untuk informasi lebih lanjut, lihatIkhtisar Access Control List (ACL)diPanduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Membuat log alur yang menerbitkan ke Amazon S3

Setelah membuat dan mengonfigurasi bucket Amazon S3, Anda dapat membuat log aliran untuk antarmuka jaringan, subnet, dan VPC Anda.

Untuk membuat log aliran menggunakan konsol

Lakukan salah satu dari berikut:
- Buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/. Di panel navigasi, pilih Antarmuka Jaringan. Pilih kotak centang untuk antarmuka jaringan.
- Buka konsol Amazon VPC di https://console.aws.amazon.com/vpc/. Pada panel navigasi, pilih VPC Anda. Pilih kotak centang untuk VPC.
- Buka konsol Amazon VPC di https://console.aws.amazon.com/vpc/. Di panel navigasi, pilih Subnet. Pilih kotak centang untuk subnet.
PilihTindakan,Buat log alur.
Untuk Filter, tentukan jenis data lalu lintas IP ke log.
- Diterima— Log hanya lalu lintas yang diterima.
- Ditolak— Log hanya menolak lalu lintas.
- Semua— Log diterima dan ditolak lalu lintas.
Untuk Interval agregasi maksimum, pilih periode waktu maksimum selama aliran ditangkap dan dikumpulkan ke dalam satu catatan log alur.
UntukTujuan, pilihKirim ke ember S3.
Untuk ARN bucket S3, tentukan Amazon Resource Name (ARN) dari bucket Amazon S3 yang ada. Anda dapat secara opsional menyertakan subfolder. Misalnya, untuk menentukan subfolder bernama my-logs dalam sebuah bucket bernama my-bucket, gunakan ARN berikut:

arn:aws:s3:::my-bucket/my-logs/

Bucket tidak dapat menggunakan AWSLogs sebagai nama subfolder, karena ini adalah istilah yang dicadangkan.

Jika Anda memiliki bucket, kami secara otomatis membuat kebijakan sumber daya dan melampirkannya ke bucket. Untuk informasi selengkapnya, lihat Izin bucket Amazon S3 untuk log alur.
UntukFormat catatan log, tentukan format untuk catatan log aliran.
- Untuk menggunakan format catatan log alur default, pilih format default AWS.
- Untuk membuat format kustom, pilih Format kustom. Untuk Format log, pilih bidang untuk disertakan dalam catatan log alur.
UntukFormat berkas log, tentukan format untuk file log.
- Teks— Teks biasa. Ini adalah format default.
- ParketApache Parquet adalah format data kolumnar. Kueri pada data dalam format Parket 10 hingga 100 kali lebih cepat dibandingkan dengan kueri pada data dalam teks biasa. Data dalam format Parket dengan kompresi Gzip membutuhkan ruang penyimpanan 20 persen lebih sedikit daripada teks biasa dengan kompresi Gzip.
(Opsional) Untuk menggunakan awalan S3 yang kompatibel dengan HIVE, pilihAwalan S3 yang kompatibel dengan HIVE,Aktifkan.
(Opsional) Untuk mempartisi log aliran Anda per jam, pilihSetiap 1 jam (60 menit).
(Opsional) Untuk menambahkan tag ke log aliran, pilihTambahkan tag barudan tentukan kunci tag dan nilai.
Pilih Buat log alur.

Untuk membuat log alur yang menerbitkan ke Amazon S3 menggunakan alat baris perintah

Gunakan salah satu perintah berikut:

create-flow-logs (AWS CLI)
Baru-EC2FlowLogs(AWS Tools for Windows PowerShell)

Berikut iniAWS CLIexample membuat log aliran yang menangkap semua lalu lintas untuk VPC yang ditentukan dan mengirimkan log aliran ke bucket Amazon S3 yang ditentukan. Parameter --log-format menentukan format kustom untuk catatan log alur.


aws ec2 create-flow-logs --resource-type VPC --resource-ids vpc-00112233344556677 --traffic-type ALL --log-destination-type s3 --log-destination arn:aws:s3:::flow-log-bucket/custom-flow-logs/ --log-format '${version} ${vpc-id} ${subnet-id} ${instance-id} ${srcaddr} ${dstaddr} ${srcport} ${dstport} ${protocol} ${tcp-flags} ${type} ${pkt-srcaddr} ${pkt-dstaddr}'

Melihat catatan log alur

Anda dapat melihat catatan log alur menggunakan konsol Amazon S3. Setelah Anda membuat log alur, mungkin perlu beberapa menit agar dapat terlihat di konsol.

Untuk melihat catatan log alur yang diterbitkan ke Amazon S3

Buka konsol Amazon S3 di https://console.aws.amazon.com/s3/.
Pilih nama bucket untuk membuka halaman detailnya.
Arahkan ke folder dengan file log. Sebagai contoh,prefiks/AWSLogs/account_id/vpcflowlogs/daerah/tahun/bulan/hari/.
Pilih kotak centang di sebelah nama file, lalu pilihUnduh.

Catatan log alur proses di Amazon S3

Berkas log dikompresi. Jika Anda membuka berkas log menggunakan konsol Amazon S3, berkas log akan didekompresi dan catatan log alur ditampilkan. Jika Anda mengunduh berkas, Anda harus mendekompresi mereka untuk melihat catatan log alur.

Anda juga dapat meminta catatan log alur dalam berkas log menggunakan Amazon Athena. Amazon Athena adalah layanan kueri interaktif yang memudahkan analisa data di Amazon S3 menggunakan SQL standar. Untuk informasi lebih lanjut, lihat Meminta Log Alur Amazon VPC dalam Panduan Pengguna Amazon Athena.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Publikasikan ke CloudWatch Log

Publikasikan ke Kinesis Data Firehose