Log alur kueri menggunakan Amazon Athena - Amazon Virtual Private Cloud

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Log alur kueri menggunakan Amazon Athena

Amazon Athena adalah layanan kueri interaktif yang memungkinkan Anda menganalisis data di Amazon S3 seperti log alur Anda menggunakan SQL standar. Anda dapat menggunakan Athena dengan log alur VPC untuk dengan cepat mendapatkan wawasan yang dapat ditindaklanjuti terkait lalu lintas yang melalui VPC Anda. Misalnya, Anda dapat mengidentifikasi sumber daya mana di virtual private cloud (VPC) yang merupakan pembicara teratas atau mengidentifikasi alamat IP dengan koneksi TCP yang paling sering ditolak.

Opsi

  • Anda dapat merampingkan dan mengotomatiskan integrasi log aliran VPC Anda dengan Athena dengan menghasilkan CloudFormation template yang menciptakanAWSsumber daya dan kueri standar yang dapat Anda jalankan untuk mendapatkan wawasan tentang lalu lintas yang mengalir melalui VPC Anda.

  • Anda dapat membuat pertanyaan Anda sendiri menggunakan Athena. Untuk informasi selengkapnya, lihatLog alur kueri menggunakan Amazon Athenadi dalamPanduan Pengguna Amazon Athena.

Harga

Anda dikenai Biaya Amazon Athena standar untuk menjalankan kueri. Anda dikenai Biaya AWS Lambda standar untuk fungsi Lambda yang memuat partisi baru pada jadwal berulang (ketika Anda menentukan frekuensi beban partisi tetapi tidak menentukan tanggal mulai dan akhir.)

Hasilkan log CloudFormation templat menggunakan konsol

Setelah log alur pertama dikirim ke bucket S3 Anda, Anda dapat mengintegrasikannya dengan Athena dengan membuat CloudFormation templat dan menggunakan templat untuk membuat tumpukan.

Persyaratan

  • Wilayah yang dipilih harus mendukungAWS Lambdadan Amazon Athena.

  • Bucket Amazon S3 harus berada di Wilayah yang dipilih.

  • Format catatan log untuk log alur harus menyertakan bidang yang digunakan oleh kueri standar tertentu yang ingin Anda jalankan.

Untuk menghasilkan templat menggunakan konsol

  1. Lakukan salah satu dari berikut:

    • Buka konsol Amazon VPC. Di panel navigasi, pilih VPC Anda dan kemudian pilih VPC Anda.

    • Buka konsol Amazon VPC. Di panel navigasi, pilih Subnet, lalu pilih subnet Anda.

    • Buka konsol Amazon EC2. Di panel navigasi, pilih Antarmuka Jaringan, lalu pilih antarmuka jaringan Anda.

  2. Pada tab Log Alur, pilih log alur yang menerbitkan ke Amazon S3 dan kemudian pilih Tindakan, Hasilkan Integrasi Athena.

  3. Tentukan frekuensi beban partisi. Jika Anda memilih Tidak ada, Anda harus menentukan tanggal mulai dan akhir partisi, menggunakan tanggal yang ada di masa lalu. Jika Anda memilih Harian, Mingguan, atau Bulanan, tanggal mulai dan akhir partisi bersifat opsional. Jika Anda tidak menentukan tanggal mulai dan akhir, CloudFormationtemplat membuat fungsi Lambda yang memuat partisi baru pada jadwal berulang.

  4. Pilih atau buat bucket S3 untuk templat yang dihasilkan, dan bucket S3 untuk hasil kueri.

  5. Pilih Hasilkan Integrasi Athena.

  6. (Opsional) Dalam pesan sukses, pilih tautan untuk menavigasi ke bucket yang Anda tentukan untuk CloudFormation template, dan menyesuaikan template.

  7. Dalam pesan sukses, pilihBuat CloudFormationtumpukanmembukaBuat tumpukanwizard diAWS CloudFormationkonsol. URL untuk yang dihasilkan CloudFormation ditentukan dalamTemplatbagian. Menyelesaikan wizard untuk membuat sumber daya yang ditentukan dalam templat.

Sumber daya yang dibuat oleh CloudFormation templat

  • Database Athena. Nama database adalah vpcflowlogsathenadatabase<flow-logs-subscription-id>.

  • Athena workgroup. Nama workgroup adalah <flow-log-subscription-id> <partition-load-frequency> <tanggal mulai> <tanggal akhir> Workgroup

  • Sebuah tabel Athena dipartisi yang sesuai dengan catatan log alur Anda. Nama tabel adalah <flow-log-subscription-id> <partition-load-frequency> <tanggal mulai> <tanggal akhir>.

  • Satu set Athena bernama kueri. Untuk informasi selengkapnya, lihat Kueri yang ditentukan sebelumnya.

  • Fungsi Lambda yang memuat partisi baru ke tabel pada jadwal yang ditentukan (harian, mingguan, atau bulanan).

  • IAM role yang memberikan izin untuk menjalankan fungsi Lambda.

Hasilkan log CloudFormation template menggunakanAWS CLI

Setelah log alur pertama dikirim ke bucket S3, Anda dapat membuat dan menggunakan log alur pertama dikirim ke bucket S3, Anda dapat membuat dan menggunakan CloudFormation template untuk mengintegrasikan dengan Athena.

Gunakan yang berikutget-flow-logs-integrationtemplatperintah untuk menghasilkan CloudFormation templat.

aws ec2 get-flow-logs-integration-template --cli-input-json file://config.json

Berikut ini adalah contoh file config.json.

{ "FlowLogId": "fl-12345678901234567", "ConfigDeliveryS3DestinationArn": "arn:aws:s3:::my-flow-logs-athena-integration/templates/", "IntegrateServices": { "AthenaIntegrations": [ { "IntegrationResultS3DestinationArn": "arn:aws:s3:::my-flow-logs-analysis/athena-query-results/", "PartitionLoadFrequency": "monthly", "PartitionStartDate": "2021-01-01T00:00:00", "PartitionEndDate": "2021-12-31T00:00:00" } ] } }

Gunakan yang berikutbuat-tumpukanperintah untuk membuat tumpukan menggunakan dihasilkan CloudFormation templat.

aws cloudformation create-stack --stack-name my-vpc-flow-logs --template-body file://my-cloudformation-template.json

Menjalankan kueri yang sudah ditentukan sebelumnya

Yang dihasilkan CloudFormation templat menyediakan serangkaian kueri standar yang dapat Anda jalankan untuk dengan cepat mendapatkan wawasan bermakna tentang lalu lintas di AndaAWSjaringan. Setelah Anda membuat tumpukan dan memverifikasi bahwa semua sumber daya dibuat dengan benar, Anda dapat menjalankan salah satu kueri yang telah ditetapkan.

Untuk menjalankan kueri yang telah ditetapkan menggunakan konsol

  1. Membuka konsol Athena. DiWorgrouppanel, pilih grup kerja yang dibuat oleh CloudFormation templat.

  2. Pilih salah satu dari Kueri yang ditentukan sebelumnya, ubah parameter yang diperlukan, dan kemudian jalankan kueri.

  3. Buka konsol Amazon S3. Arahkan ke bucket yang Anda tentukan untuk hasil kueri, dan lihat hasil kueri.

Kueri yang ditentukan sebelumnya

Berikut ini adalah daftar lengkap Athena bernama kueri. Kueri yang telah ditetapkan yang disediakan saat Anda membuat template bergantung pada bidang yang merupakan bagian dari format catatan log untuk log aliran. Oleh karena itu, template mungkin tidak berisi semua kueri yang telah ditetapkan ini.

  • VpcFlowLogsAcceptedTraffic— Koneksi TCP yang diizinkan berdasarkan grup keamanan dan ACL jaringan.

  • VpcFlowLogsAdminPortTraffic- 10 alamat IP teratas dengan lalu lintas terbanyak, seperti yang direkam oleh aplikasi yang melayani permintaan pada port administratif.

  • VpcFlowLogsIPv4Traffic— Total byte lalu lintas IPv4 yang dicatat.

  • VpcFlowLogsIPv6lalu lintas— Total byte lalu lintas IPv6 yang dicatat.

  • VpcFlowLogsRejectedTCPTraffic— Koneksi TCP yang ditolak berdasarkan grup keamanan atau ACL jaringan.

  • VpcFlowLogsRejectedTraffic— Lalu lintas yang ditolak berdasarkan grup keamanan atau ACL jaringan.

  • VpcFlowLogsSshRdpTraffic— Lalu lintas SSH dan RDP.

  • VpcFlowLogsTopTalkers— Alamat IP 50 dengan lalu lintas terbanyak dicatat.

  • VpcFlowLogsTopTalkersPacketLevel— Alamat IP tingkat paket 50 dengan lalu lintas terbanyak dicatat.

  • VpcFlowLogsTopTalkingInstances— ID dari 50 instans dengan lalu lintas terbanyak dicatat.

  • VpcFlowLogsTopTalkingSubnets— ID dari 50 subnet dengan lalu lintas terbanyak dicatat.

  • VpcFlowLogsTopTCPTraffic— Semua lalu lintas TCP yang dicatat untuk alamat IP sumber.

  • VpcFlowLogsTotalBytesTransferred— 50 pasang alamat IP sumber dan tujuan dengan byte terbanyak dicatat.

  • VpcFlowLogsTotalBytesTransferredPacketTingkat— 50 pasang sumber tingkat paket dan alamat IP tujuan dengan byte terbanyak dicatat.

  • VpcFlowLogsTrafficFrmSrcAddr— Lalu lintas yang dicatat untuk alamat IP sumber tertentu.

  • VpcFlowLogsTrafficToDstAddr— Lalu lintas yang dicatat untuk alamat IP tujuan tertentu.