Menggunakan CloudWatch akun terpusat atau terdistribusi

Meskipun CloudWatch dirancang untuk memantau AWS layanan atau sumber daya dalam satu akun dan Wilayah, Anda dapat menggunakan akun pusat untuk menangkap log dan metrik dari beberapa akun dan Wilayah. Jika Anda menggunakan lebih dari satu akun atau Wilayah, Anda harus mengevaluasi apakah akan menggunakan pendekatan akun terpusat atau akun individual untuk menangkap log dan metrik. Biasanya, pendekatan hybrid diperlukan untuk penyebaran multi-akun dan Multi-wilayah untuk mendukung persyaratan keamanan, analitik, operasi, dan pemilik beban kerja.

Tabel berikut memberikan area yang perlu dipertimbangkan ketika memilih untuk menggunakan pendekatan terpusat, terdistribusi, atau hibrida.

Struktur akun	Organisasi Anda mungkin memiliki beberapa akun terpisah (misalnya, akun untuk beban kerja non-produksi dan produksi) atau ribuan akun untuk aplikasi tunggal di lingkungan tertentu. Sebaiknya Anda memelihara log dan metrik aplikasi di akun tempat beban kerja berjalan, yang memberi pemilik beban kerja akses ke log dan metrik. Hal ini memungkinkan mereka untuk memiliki peran aktif dalam logging dan monitoring. Kami juga menyarankan Anda menggunakan akun logging terpisah untuk mengumpulkan semua log beban kerja untuk analisis, agregasi, tren, dan operasi terpusat. Akun logging terpisah juga dapat digunakan untuk keamanan, pengarsipan dan pemantauan, dan analitik.
Persyaratan akses	Anggota tim (misalnya, pemilik beban kerja atau pengembang) memerlukan akses ke log dan metrik untuk memecahkan masalah dan melakukan perbaikan. Log harus disimpan di akun beban kerja untuk mempermudah akses dan pemecahan masalah. Jika log dan metrik dipertahankan di akun terpisah dari beban kerja, pengguna mungkin perlu secara teratur bergantian antar akun. Menggunakan akun terpusat memberikan informasi log kepada pengguna yang berwenang tanpa memberikan akses ke akun beban kerja. Ini dapat menyederhanakan persyaratan akses untuk beban kerja analitik di mana agregasi diperlukan dari beban kerja yang berjalan di beberapa akun. Akun logging terpusat juga dapat memiliki opsi pencarian dan agregasi alternatif, seperti kluster OpenSearch Layanan Amazon. Amazon OpenSearch Service menyediakan kontrol akses berbutir halus hingga ke tingkat bidang untuk log Anda. Kontrol akses berbutir halus penting ketika Anda memiliki data sensitif atau rahasia yang memerlukan akses dan izin khusus.
Operasi	Banyak organisasi memiliki tim operasi dan keamanan terpusat atau organisasi eksternal untuk dukungan operasional yang memerlukan akses ke log untuk pemantauan. Pencatatan dan pemantauan terpusat dapat mempermudah identifikasi tren, pencarian, agregat, dan melakukan analitik di semua akun dan beban kerja. Jika organisasi Anda menggunakan pendekatan “Anda membangunnya, Anda menjalankannya” DevOps, maka pemilik beban kerja memerlukan pencatatan dan pemantauan informasi di akun mereka. Pendekatan hybrid mungkin diperlukan untuk memenuhi operasi pusat dan analitik, selain kepemilikan beban kerja terdistribusi.
Lingkungan	Anda dapat memilih untuk meng-host log dan metrik di lokasi pusat untuk akun produksi dan menyimpan log dan metrik untuk lingkungan lain (misalnya, pengembangan atau pengujian) di akun yang sama atau terpisah, tergantung pada persyaratan keamanan dan arsitektur akun. Ini membantu mencegah data sensitif yang dibuat selama produksi diakses oleh khalayak yang lebih luas.

CloudWatch menyediakan beberapa opsi untuk memproses log secara real time dengan filter CloudWatch berlangganan. Anda dapat menggunakan filter langganan untuk mengalirkan log secara real time ke AWS layanan untuk pemrosesan kustom, analisis, dan pemuatan ke sistem lain. Ini bisa sangat membantu jika Anda mengambil pendekatan hibrid di mana log dan metrik Anda tersedia di masing-masing akun dan Wilayah, selain akun dan Wilayah terpusat. Daftar berikut memberikan contoh AWS layanan yang dapat digunakan untuk ini:

• Amazon Data Firehose — Firehose menyediakan solusi streaming yang secara otomatis menskalakan dan mengubah ukuran berdasarkan volume data yang dihasilkan. Anda tidak perlu mengelola jumlah pecahan dalam aliran data Amazon Kinesis dan Anda dapat langsung terhubung ke Amazon Simple Storage Service (Amazon S3) OpenSearch , Amazon Service, atau Amazon Redshift tanpa pengkodean tambahan. Firehose adalah solusi efektif jika Anda ingin memusatkan log Anda di layanan tersebut. AWS

• Amazon Kinesis Data Streams — Kinesis Data Streams adalah solusi yang tepat jika Anda perlu mengintegrasikan dengan layanan yang Firehose tidak mendukung dan menerapkan logika pemrosesan tambahan. Anda dapat membuat tujuan CloudWatch Log Amazon di akun dan Wilayah yang menentukan aliran data Kinesis di akun pusat dan AWS Identity and Access Management peran (IAM) yang memberinya izin untuk menempatkan catatan di aliran. Kinesis Data Streams menyediakan landing zone terbuka yang fleksibel untuk data log Anda yang kemudian dapat digunakan oleh berbagai opsi. Anda dapat membaca data log Kinesis Data Streams ke akun Anda, melakukan pra-pemrosesan, dan mengirim data ke tujuan yang Anda pilih.

  Namun, Anda harus mengonfigurasi pecahan untuk aliran sehingga ukurannya sesuai untuk data log yang dihasilkan. Kinesis Data Streams bertindak sebagai perantara sementara atau antrian untuk data log Anda, dan Anda dapat menyimpan data dalam aliran Kinesis selama antara satu hingga 365 hari. Kinesis Data Streams juga mendukung kemampuan replay, yang berarti Anda dapat memutar ulang data yang tidak dikonsumsi.

• OpenSearch Layanan Amazon - CloudWatch Log dapat mengalirkan log dalam grup log ke OpenSearch klaster di akun individu atau terpusat. Saat Anda mengonfigurasi grup log untuk mengalirkan data ke OpenSearch klaster, fungsi Lambda dibuat di akun dan Wilayah yang sama dengan grup log Anda. Fungsi Lambda harus memiliki koneksi jaringan dengan cluster. OpenSearch Anda dapat menyesuaikan fungsi Lambda untuk melakukan preprocessing tambahan, selain menyesuaikan konsumsi ke Amazon Service. OpenSearch Pencatatan terpusat dengan Amazon OpenSearch Service memudahkan analisis, penelusuran, dan pemecahan masalah di beberapa komponen dalam arsitektur cloud Anda.

• Lambda - Jika Anda menggunakan Kinesis Data Streams, Anda perlu menyediakan dan mengelola sumber daya komputasi yang menggunakan data dari aliran Anda. Untuk menghindari hal ini, Anda dapat mengalirkan data log langsung ke Lambda untuk diproses dan mengirimkannya ke tujuan berdasarkan logika Anda. Ini berarti Anda tidak perlu menyediakan dan mengelola sumber daya komputasi untuk memproses data yang masuk. Jika Anda memilih untuk menggunakan Lambda, pastikan solusi Anda kompatibel dengan kuota Lambda.

Anda mungkin perlu memproses atau membagikan data log yang disimpan dalam CloudWatch Log dalam format file. Anda dapat membuat tugas ekspor untuk mengekspor grup log ke Amazon S3 untuk tanggal atau rentang waktu tertentu. Misalnya, Anda dapat memilih untuk mengekspor log setiap hari ke Amazon S3 untuk analitik dan audit. Lambda dapat digunakan untuk mengotomatiskan solusi ini. Anda juga dapat menggabungkan solusi ini dengan replikasi Amazon S3 untuk mengirimkan dan memusatkan log Anda dari beberapa akun dan Wilayah ke satu akun dan Wilayah terpusat.

Konfigurasi CloudWatch agen juga dapat menentukan credentials bidang di agentbagian tersebut. Ini menentukan peran IAM untuk digunakan saat mengirim metrik dan log ke akun yang berbeda. Jika ditentukan, bidang ini berisi role_arn parameter. Bidang ini dapat digunakan ketika Anda hanya memerlukan pencatatan dan pemantauan terpusat di akun dan Wilayah terpusat tertentu.

Anda juga dapat menggunakan AWS SDK untuk menulis aplikasi pemrosesan kustom Anda sendiri dalam bahasa pilihan Anda, membaca log dan metrik dari akun Anda, dan mengirim data ke akun terpusat atau tujuan lain untuk diproses dan dipantau lebih lanjut.