Mengumpulkan dan Memproses Log - Menavigasi Kepatuhan GDPR di AWS

Mengumpulkan dan Memproses Log

CloudWatch Logs dapat digunakan untuk memantau, menyimpan, dan mengakses file log Anda dari instans Amazon EC2, AWS CloudTrail, Route 53, dan sumber lainnya. Lihat halaman dokumentasi Layanan AWS yang Memublikasikan Log ke CloudWatch Logs.

Informasi log meliputi, misalnya:

  • Pencatatan log yang terperinci untuk akses ke objek Amazon S3

  • Informasi mendetail tentang alur dalam jaringan melalui VPC-FlowLogs

  • Verifikasi konfigurasi berbasis aturan dan tindakan dengan aturan AWS Config

  • Pemfilteran dan pemantauan akses HTTP ke aplikasi dengan fungsi firewall aplikasi web (WAF) di CloudFront

Metrik dan log aplikasi kustom juga dapat dipublikasikan ke CloudWatch Logs dengan menginstal CloudWatch Agent di instans Amazon EC2 atau server on-premise.

Log dapat dianalisis secara interaktif menggunakan CloudWatch Logs Insights, dengan melakukan kueri untuk membantu Anda merespons secara lebih efisien dan efektif terhadap masalah operasional.

CloudWatch Logs dapat diproses hampir dalam waktu nyata dengan mengonfigurasi filter langganan dan dapat dikirim ke layanan lain seperti klaster Amazon OpenSearch Service (OpenSearch Service), stream Amazon Kinesis, stream Amazon Kinesis Data Firehose, atau Lambda untuk pemrosesan kustom, analisis, atau pemuatan ke sistem lain.

Filter metrik CloudWatch dapat digunakan untuk menentukan pola guna mencari data log, mengubahnya menjadi metrik CloudWatch numerik, dan mengatur alarm berdasarkan kebutuhan bisnis Anda. Misalnya, dengan mengikuti rekomendasi AWS untuk tidak menggunakan pengguna root untuk tugas sehari-hari, filter metrik CloudWatch tertentu dapat disiapkan pada log CloudTrail (dikirim ke CloudWatch Logs) untuk membuat metrik Kustom dan mengonfigurasi alarm untuk memberi tahu pemangku kepentingan yang relevan saat kredensial root digunakan untuk mengakses akun AWS Anda.

Log seperti log akses server Amazon S3, log akses Elastic Load Balancing, log stream VPC, dan log stream AWS Global Accelerator dapat dikirim langsung ke bucket Amazon S3. Misalnya, ketika Anda mengaktifkan log akses server Amazon Simple Storage Service, Anda bisa mendapatkan informasi mendetail mengenai permintaan yang dibuat ke bucket Amazon S3 Anda. Catatan log akses berisi detail permintaan, seperti jenis permintaan, sumber daya yang ditentukan dalam permintaan, dan waktu dan tanggal permintaan diproses. Untuk informasi selengkapnya tentang konten pesan log, lihat Format Log Akses Server Amazon Simple Storage Service dalam Panduan Developer Amazon Simple Storage Service. Log akses server berguna untuk banyak aplikasi karena memberikan wawasan kepada pemilik bucket tentang sifat permintaan yang dibuat oleh klien yang tidak di bawah kontrol mereka. Secara default, Amazon S3 tidak mengumpulkan log akses layanan, tetapi ketika Anda mengaktifkan pencatatan log, Amazon S3 biasanya mengirimkan log akses ke bucket Anda dalam beberapa jam. Jika Anda memerlukan pengiriman yang lebih cepat atau perlu mengirimkan log ke beberapa tujuan, pertimbangkan untuk menggunakan log CloudTrail atau kombinasi log CloudTrail dan Amazon S3. Log dapat dienkripsi at rest dengan mengonfigurasi enkripsi objek default di bucket tujuan. Objek dienkripsi menggunakan enkripsi sisi server dengan kunci terkelola Amazon S3 (SSE-S3) atau kunci utama pelanggan (CMK) yang disimpan dalam AWS Key Management Service (AWS KMS).

Log yang disimpan dalam bucket Amazon S3 dapat dikueri dan dianalisis menggunakan Amazon Athena. Amazon Athena adalah layanan kueri interaktif yang memungkinkan Anda menganalisis data di S3 menggunakan SQL standar. Anda dapat menggunakan Athena untuk menjalankan kueri khusus menggunakan ANSI SQL, tanpa perlu menggabungkan atau memuat data ke dalam Athena. Athena dapat memproses set data yang tidak terstruktur, semi-terstruktur, dan terstruktur dan terintegrasi dengan Amazon QuickSight untuk visualisasi yang mudah.

Log juga merupakan sumber informasi yang berguna untuk deteksi ancaman otomatis. Amazon GuardDuty adalah layanan pemantauan keamanan berkelanjutan yang menganalisis dan memproses peristiwa dari beberapa sumber, seperti VPC Flow Logs, log peristiwa manajemen CloudTrail, log peristiwa data CloudTrail Amazon S3, dan log DNS. Layanan ini menggunakan umpan intelijen ancaman, seperti daftar alamat IP dan domain berbahaya, serta machine learning untuk mengidentifikasi aktivitas yang tidak terduga serta berpotensi tidak sah dan berbahaya dalam lingkungan AWS Anda. Saat Anda mengaktifkan GuardDuty di sebuah Wilayah, layanan ini akan langsung mulai menganalisis log peristiwa CloudTrail Anda. Layanan ini menyerap peristiwa manajemen CloudTrail dan peristiwa data Amazon S3 langsung dari CloudTrail melalui stream peristiwa yang independen dan duplikatif.