Langkah 1: Mengonfigurasi Layanan AWS

Ikuti langkah-langkah berikut untuk mempersiapkan lingkungan Anda untuk mengalirkan data log ke Amazon Simple Storage Service (Amazon S3) menggunakan Amazon Kinesis Agent for Microsoft Windows. Untuk informasi selengkapnya dan prasyarat, lihat Tutorial: Mengalirkan Berkas Log JSON ke Amazon S3 Menggunakan Kinesis Agent for Windows.

Gunakan AWS Management Console untuk mengonfigurasi AWS Identity and Access Management (IAM), Amazon S3, Kinesis Data Firehose, dan Amazon Elastic Compute Cloud (Amazon EC2) untuk mempersiapkan streaming data log dari instans EC2 ke Amazon S3.

Mengonfigurasi Kebijakan dan Peran IAM

Buat kebijakan berikut, yang mengotorisasi Kinesis Agent for Windows untuk mengalirkan data ke aliran pengiriman Kinesis Data Firehose tertentu:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecord",
                "firehose:PutRecordBatch"
            ],
            "Resource": "arn:aws:firehose:region:account-id:deliverystream/log-delivery-stream"
        }
    ]
}
  

Ganti region dengan nama Wilayah AWS tempat aliran pengiriman Kinesis Data Firehose akan dibuat (us-east-1, misalnya). Ganti account-id dengan ID akun 12 digit untuk akun AWS tempat aliran pengiriman akan dibuat.

Di bilah navigasi, pilih Dukungan, kemudian Pusat Dukungan. Nomor akun (ID) 12 digit Anda yang masuk saat ini muncul di panel navigasi Pusat Dukungan.

Buat kebijakan menggunakan prosedur berikut. Sebutkan kebijakan log-delivery-stream-access-policy.

Untuk membuat kebijakan menggunakan editor kebijakan JSON

1. Masuk ke AWS Management Console dan buka konsol IAM di https://console.aws.amazon.com/iam/.

2. Di panel navigasi di sebelah kiri, pilih Kebijakan.

   Jika ini pertama kalinya Anda memilih Kebijakan, akan muncul laman Selamat Datang di Kebijakan Terkelola. Pilih Memulai.

3. Di bagian atas halaman, pilih Buat kebijakan.

4. Pilih tab JSON.

5. Masukkan dokumen kebijakan JSON. Untuk rincian bahasa kebijakan IAM, lihat Referensi kebijakan IAM JSON di Panduan Pengguna IAM.

6. Setelah Anda selesai, pilih Tinjau kebijakan. Validator Kebijakan melaporkan bila ada kesalahan sintaksis.

   catatan

   Anda bisa beralih antara Editor visual dan tab JSON kapan pun. Namun, apabila Anda melakukan perubahan atau memilih Tinjau kebijakan pada tab Editor visual, IAM dapat merestrukturisasi kebijakan Anda untuk menjadikannya optimal bagi editor visual. Untuk informasi selengkapnya, lihat Restrukturisasi Kebijakan dalam Panduan Pengguna IAM.

7. Pada halaman Tinjau kebijakan, ketikkan Nama dan Deskripsi (opsional) untuk kebijakan yang sedang Anda buat. Tinjau Summary (Ringkasan) kebijakan untuk melihat izin yang diberikan oleh kebijakan Anda. Kemudian pilih Buat kebijakan untuk menyimpan pekerjaan Anda.

Untuk membuat peran yang memberikan akses Kinesis Data Firehose ke bucket S3

1. Dengan menggunakan prosedur sebelumnya, buat kebijakan bernama firehose-s3-access-policy yang didefinisikan menggunakan JSON berikut:

   
   {
       "Version": "2012-10-17",  
       "Statement":
       [    
           {      
               "Effect": "Allow",      
               "Action": [        
                   "s3:AbortMultipartUpload",        
                   "s3:GetBucketLocation",        
                   "s3:GetObject",        
                   "s3:ListBucket",        
                   "s3:ListBucketMultipartUploads",        
                   "s3:PutObject"
               ],      
               "Resource": [        
                   "arn:aws:s3:::bucket-name",
                   "arn:aws:s3:::bucket-name/*"		    
               ]    
           },
           {
              "Effect": "Allow",
              "Action": [
                  "logs:PutLogEvents"
              ],
              "Resource": [
                  "arn:aws:logs:region:account-id:log-group:firehose-error-log-group:log-stream:firehose-error-log-stream"
              ]
           }
       ]
   }     
       

   Ganti bucket-name dengan nama bucket unik tempat log akan disimpan. Ganti region dengan Wilayah AWS tempat grup log dan aliran log CloudWatch Logs akan dibuat. Ini untuk mencatat semua kesalahan yang terjadi selama streaming data ke Amazon S3 melalui Kinesis Data Firehose. Ganti account-id dengan ID akun 12 digit untuk akun tempat grup log dan aliran log akan dibuat.

   

2. Di panel navigasi konsol IAM, pilih Peran, dan lalu pilih Buat peran.

3. Pilih tipe peran Layanan AWS, lalu pilih layanan Kinesis.

4. Pilih Kinesis Data Firehose untuk kasus penggunaan, lalu pilih Selanjutnya: Izin.

5. Dalam kotak pencarian, masukkan firehose-s3-access-policy, pilih kebijakan tersebut, kemudian pilih Selanjutnya: Tinjauan.

6. Di kotak Role name (Nama peran), masukkan firehose-s3-access-role.

7. Pilih Buat peran.

Untuk membuat peran untuk menghubungkan dengan profil instans untuk instans EC2 yang akan menjalankan Kinesis Agent for Windows

1. Di panel navigasi konsol IAM, pilih Peran, dan lalu pilih Buat peran.

2. Pilih tipe peran Layanan AWS, lalu pilih EC2.

3. Pilih Selanjutnya: Izin.

4. Dalam kotak pencarian, masukkan log-delivery-stream-access-policy.

5. Pilih kebijakan, kemudian pilih Selanjutnya: Tinjauan.

6. Di kotak Role name (Nama peran), masukkan kinesis-agent-instance-role.

7. Pilih Buat peran.

Membuat Bucket Amazon S3

Buat bucket S3 tempat Kinesis Data Firehose mengalirkan log.

Untuk membuat bucket S3 untuk penyimpanan log

1. Buka konsol Amazon S3 di https://console.aws.amazon.com/s3/.

2. Pilih Buat bucket.

3. Di kotak Nama bucket, masukkan nama bucket S3 unik yang Anda pilih di Mengonfigurasi Kebijakan dan Peran IAM.

4. Pilih Wilayah tempat bucket harus dibuat. Biasanya Wilayah ini sama dengan tempat Anda ingin membuat aliran pengiriman Kinesis Data Firehose dan instans Amazon EC2.

5. Pilih Buat.

Membuat Aliran Pengiriman Kinesis Data Firehose

Buat aliran pengiriman Kinesis Data Firehose yang akan menyimpan catatan yang dialirkan di Amazon S3.

Untuk membuat aliran pengiriman Kinesis Data Firehose

1. Buka konsol Kinesis Data Firehose di https://console.aws.amazon.com/firehose/.

2. Pilih Buat Aliran Pengiriman.

3. Di kotak Nama aliran pengiriman, masukkan log-delivery-stream.

4. Untuk Sumber, pilih PUT langsung atau sumber lain.

   

5. Pilih Selanjutnya.

6. Pilih Selanjutnya sekali lagi.

7. Untuk tujuan, pilih Amazon S3.

8. Untuk bucket S3, pilih nama bucket yang Anda buat di Membuat Bucket Amazon S3.

   

9. Pilih Selanjutnya.

10. Di kotak Interval buffer, masukkan 60.

11. Di bawah IAM role, pilih Buat baru atau pilih.

12. Untuk IAM role, pilih firehose-s3-access-role.

13. Pilih Izinkan.

    

14. Pilih Selanjutnya.

15. Pilih Buat aliran pengiriman.

Membuat Instans Amazon EC2 untuk Menjalankan Kinesis Agent for Windows

Membuat instans EC2 yang menggunakan Kinesis Agent for Windows untuk mengalirkan catatan log melalui Kinesis Data Firehose.

Untuk membuat instans EC2

1. Buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/.

2. Ikuti petunjuk di Memulai dengan Instans Windows Amazon EC2, menggunakan langkah-langkah tambahan berikut:

   • Untuk IAM role untuk instans, pilih kinesis-agent-instance-role.

   • Jika Anda belum memiliki virtual private cloud (VPC) yang terhubung ke internet publik, ikuti petunjuk di Menyiapkan dengan Amazon EC2 dalam Panduan Pengguna Amazon EC2 untuk Instans Windows.

   • Buat atau gunakan grup keamanan yang membatasi akses ke instans hanya dari komputer Anda, atau hanya komputer organisasi Anda. Untuk informasi selengkapnya, lihat Menyiapkan dengan Amazon EC2 dalam Panduan Pengguna Amazon EC2 untuk Instans Windows.

   • Jika Anda menentukan pasangan kunci yang ada, pastikan untuk memiliki akses ke kunci privat untuk pasangan kunci tersebut. Atau, buat pasangan kunci baru dan simpan kunci privat di tempat yang aman.

   • Sebelum melanjutkan, tunggu sampai instans berjalan dan telah menyelesaikan kedua pemeriksaan kondisi.

   • Instans Anda memerlukan alamat IP publik. Jika alamat IP publik belum dialokasikan, ikuti petunjuk di Alamat IP Elastis dalam Panduan Pengguna Amazon EC2 untuk Instans Windows.

Langkah Berikutnya

Langkah 2: Menginstal, Mengonfigurasi, dan Menjalankan Kinesis Agent for Windows