Ekspor data log ke Amazon S3 menggunakan AWS CLI

Dalam contoh berikut, Anda menggunakan tugas ekspor untuk mengekspor semua data dari grup CloudWatch log Log yang diberi nama my-log-group ke bucket Amazon S3 bernama. my-exported-logs Contoh ini mengasumsikan bahwa Anda telah membuat grup log bernama my-log-group.

Mengekspor data log ke bucket S3 yang dienkripsi oleh didukung. AWS KMS Mengekspor ke ember yang dienkripsi dengan DSSE - KMS tidak didukung.

Detail cara Anda mengatur ekspor tergantung pada apakah bucket Amazon S3 yang ingin Anda ekspor berada di akun yang sama dengan log Anda yang sedang diekspor, atau di akun lain.

Ekspor akun yang sama

Jika bucket Amazon S3 berada di akun yang sama dengan log yang sedang diekspor, gunakan instruksi di bagian ini.

Topik

• Langkah 1: Buat ember S3
• Langkah 2: Siapkan izin akses
• Langkah 3: Tetapkan izin pada bucket S3
• (Opsional) Langkah 4: Mengekspor ke ember yang dienkripsi dengan - SSE KMS
• Langkah 5: Buat tugas ekspor

Langkah 1: Buat ember S3

Kami menyarankan Anda menggunakan bucket yang dibuat khusus untuk CloudWatch Log. Namun, jika Anda ingin menggunakan bucket yang sudah ada, Anda dapat melompat ke langkah 2.

catatan

Bucket S3 harus berada di Region yang sama dengan data log yang akan diekspor. CloudWatch Log tidak mendukung ekspor data ke bucket S3 di Wilayah lain.

Untuk membuat bucket S3 menggunakan AWS CLI

Di jendela perintah, jalankan perintah create-bucket berikut, di mana LocationConstraint adalah Wilayah tempat Anda mengekspor data log.

aws s3api create-bucket --bucket my-exported-logs --create-bucket-configuration LocationConstraint=us-east-2

Berikut ini adalah output contoh.

{
    "Location": "/my-exported-logs"
}

Langkah 2: Siapkan izin akses

Untuk membuat tugas ekspor di langkah 5, Anda harus masuk dengan AmazonS3ReadOnlyAccess IAM peran dan dengan izin berikut:

• logs:CreateExportTask

• logs:CancelExportTask

• logs:DescribeExportTasks

• logs:DescribeLogStreams

• logs:DescribeLogGroups

Untuk memberikan akses, menambahkan izin ke pengguna, grup, atau peran Anda:

• Pengguna dan grup di AWS IAM Identity Center:

  Buat rangkaian izin. Ikuti instruksi di Buat rangkaian izin di Panduan Pengguna AWS IAM Identity Center .

• Pengguna yang dikelola IAM melalui penyedia identitas:

  Buat peran untuk federasi identitas. Ikuti petunjuk di Membuat peran untuk penyedia identitas pihak ketiga (federasi) di Panduan IAM Pengguna.

• IAMpengguna:

  • Buat peran yang dapat diambil pengguna Anda. Ikuti petunjuk di Buat peran untuk IAM pengguna di Panduan IAM Pengguna.

  • (Tidak disarankan) Pasang kebijakan langsung ke pengguna atau tambahkan pengguna ke grup pengguna. Ikuti petunjuk di Menambahkan izin ke pengguna (konsol) di Panduan IAM Pengguna.

Langkah 3: Tetapkan izin pada bucket S3

Secara default, semua bucket dan objek S3 bersifat pribadi. Hanya pemilik sumber daya, akun yang membuat bucket, yang dapat mengakses bucket dan objek yang ada di dalamnya. Namun, pemilik sumber daya dapat memilih untuk memberikan izin akses kepada sumber daya dan pengguna lain dengan menulis kebijakan akses.

penting

Untuk membuat ekspor ke bucket S3 lebih aman, kami sekarang meminta Anda untuk menentukan daftar akun sumber yang diizinkan untuk mengekspor data log ke bucket S3 Anda.

Dalam contoh berikut, daftar akun IDs dalam aws:SourceAccount kunci akan menjadi akun dari mana pengguna dapat mengekspor data log ke bucket S3 Anda. aws:SourceArnKuncinya adalah sumber daya tempat tindakan diambil. Anda dapat membatasi ini ke grup log tertentu, atau menggunakan wildcard seperti yang ditunjukkan dalam contoh ini.

Kami menyarankan Anda juga menyertakan ID akun akun tempat bucket S3 dibuat, untuk memungkinkan ekspor dalam akun yang sama.

Untuk menyetel izin pada bucket S3

1. Buat file bernama policy.json dan tambahkan kebijakan akses berikut, ubah my-exported-logs nama bucket S3 Anda dan Principal ke titik akhir Wilayah tempat Anda mengekspor data log, seperti. us-west-1 Gunakan editor teks untuk membuat file kebijakan ini. Jangan gunakan IAM konsol.

   {
       "Version": "2012-10-17",
       "Statement": [
         {
             "Action": "s3:GetBucketAcl",
             "Effect": "Allow",
             "Resource": "arn:aws:s3:::my-exported-logs",
             "Principal": { "Service": "logs.Region.amazonaws.com" },
             "Condition": {
               "StringEquals": {
                   "aws:SourceAccount": [
                       "AccountId1",
                       "AccountId2",
                       ...
                   ]
               },
               "ArnLike": {
                       "aws:SourceArn": [
                           "arn:aws:logs:Region:AccountId1:log-group:*",
                           "arn:aws:logs:Region:AccountId2:log-group:*",
                           ...
                        ]
               }
             }
         },
         {
             "Action": "s3:PutObject" ,
             "Effect": "Allow",
             "Resource": "arn:aws:s3:::my-exported-logs/*",
             "Principal": { "Service": "logs.Region.amazonaws.com" },
             "Condition": {
               "StringEquals": {
                   "s3:x-amz-acl": "bucket-owner-full-control",
                   "aws:SourceAccount": [
                       "AccountId1",
                       "AccountId2",
                       ...
                   ]
               },
               "ArnLike": {
                       "aws:SourceArn": [
                           "arn:aws:logs:Region:AccountId1:log-group:*",
                           "arn:aws:logs:Region:AccountId2:log-group:*",
                           ...
                       ]
               }
             }
         }
       ]
   }

2. Tetapkan kebijakan yang baru saja ditambahkan sebagai kebijakan akses di bucket Anda dengan menggunakan put-bucket-policyperintah. Kebijakan ini memungkinkan CloudWatch Log untuk mengekspor data log ke bucket S3 Anda. Pemilik bucket akan memiliki izin penuh atas semua objek yang diekspor.

   aws s3api put-bucket-policy --bucket my-exported-logs --policy file://policy.json

   Awas

   Jika bucket yang ada sudah memiliki satu atau beberapa kebijakan yang dilampirkan padanya, tambahkan pernyataan untuk akses CloudWatch Log ke kebijakan atau kebijakan tersebut. Sebaiknya Anda mengevaluasi hasil rangkaian izin untuk memastikan bahwa itu sesuai untuk pengguna yang akan mengakses bucket.

(Opsional) Langkah 4: Mengekspor ke ember yang dienkripsi dengan - SSE KMS

Langkah ini diperlukan hanya jika Anda mengekspor ke bucket S3 yang menggunakan enkripsi sisi server. AWS KMS keys Enkripsi ini dikenal sebagai SSE -KMS.

Untuk mengekspor ke ember yang dienkripsi dengan - SSE KMS

1. Gunakan editor teks untuk membuat file bernama key_policy.json dan menambahkan kebijakan akses berikut. Saat Anda menambahkan kebijakan, lakukan perubahan berikut:

   • Ganti Region dengan Wilayah log Anda.

   • Ganti account-ARN dengan ARN akun yang memiliki KMS kunci.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "Allow CWL Service Principal usage",
               "Effect": "Allow",
               "Principal": {
                   "Service": "logs.Region.amazonaws.com"
               },
               "Action": [
                   "kms:GenerateDataKey",
                   "kms:Decrypt"
               ],
               "Resource": "*"
           },
           {
               "Sid": "Enable IAM User Permissions",
               "Effect": "Allow",
               "Principal": {
                   "AWS": "account-ARN"
               },
               "Action": [
                   "kms:GetKeyPolicy*",
                   "kms:PutKeyPolicy*",
                   "kms:DescribeKey*",
                   "kms:CreateAlias*",
                   "kms:ScheduleKeyDeletion*",
                   "kms:Decrypt"
               ],
               "Resource": "*"
           }
       ]
   }

2. Masukkan perintah berikut:

   aws kms create-key --policy file://key_policy.json

   Berikut ini adalah contoh output dari perintah ini:

   {
       "KeyMetadata": {
           "AWSAccountId": "account_id",
           "KeyId": "key_id",
           "Arn": "arn:aws:kms:us-east-2:account_id:key/key_id",
           "CreationDate": "time",
           "Enabled": true,
           "Description": "",
           "KeyUsage": "ENCRYPT_DECRYPT",
           "KeyState": "Enabled",
           "Origin": "AWS_KMS",
           "KeyManager": "CUSTOMER",
           "CustomerMasterKeySpec": "SYMMETRIC_DEFAULT",
           "KeySpec": "SYMMETRIC_DEFAULT",
           "EncryptionAlgorithms": [
               "SYMMETRIC_DEFAULT"
           ],
           "MultiRegion": false
       }
   

3. Gunakan editor teks untuk membuat file yang disebut bucketencryption.json dengan konten berikut.

   {
     "Rules": [
       {
         "ApplyServerSideEncryptionByDefault": {
           "SSEAlgorithm": "aws:kms",
           "KMSMasterKeyID": "{KMS Key ARN}"
         },
         "BucketKeyEnabled": true
       }
     ]
   }

4. Masukkan perintah berikut, ganti bucket-name dengan nama ember tempat Anda mengekspor log.

   aws s3api put-bucket-encryption --bucket bucket-name --server-side-encryption-configuration file://bucketencryption.json

   Jika perintah tidak mengembalikan kesalahan, prosesnya berhasil.

Langkah 5: Buat tugas ekspor

Gunakan perintah berikut untuk membuat tugas ekspor. Setelah Anda membuatnya, tugas ekspor mungkin memakan waktu mulai dari beberapa detik hingga beberapa jam, tergantung pada ukuran data yang akan diekspor.

Untuk mengekspor data ke Amazon S3 menggunakan AWS CLI

1. Masuk dengan izin yang memadai seperti yang didokumentasikanLangkah 2: Siapkan izin akses.

2. Pada prompt perintah, gunakan create-export-taskperintah berikut untuk membuat tugas ekspor.

   aws logs create-export-task --profile CWLExportUser --task-name "my-log-group-09-10-2015" --log-group-name "my-log-group" --from 1441490400000 --to 1441494000000 --destination "my-exported-logs" --destination-prefix "export-task-output"

   Berikut ini adalah output contoh.

   {
       "taskId": "cda45419-90ea-4db5-9833-aade86253e66"
   }

Ekspor lintas akun

Jika bucket Amazon S3 berada di akun yang berbeda dari log yang sedang diekspor, gunakan petunjuk di bagian ini.

Topik

• Langkah 1: Buat ember S3
• Langkah 2: Siapkan izin akses
• Langkah 3: Tetapkan izin pada bucket S3
• (Opsional) Langkah 4: Mengekspor ke ember yang dienkripsi dengan - SSE KMS
• Langkah 5: Buat tugas ekspor

Langkah 1: Buat ember S3

Kami menyarankan Anda menggunakan bucket yang dibuat khusus untuk CloudWatch Log. Namun, jika Anda ingin menggunakan bucket yang sudah ada, Anda dapat melompat ke langkah 2.

catatan

Bucket S3 harus berada di Region yang sama dengan data log yang akan diekspor. CloudWatch Log tidak mendukung ekspor data ke bucket S3 di Wilayah lain.

Untuk membuat bucket S3 menggunakan AWS CLI

Di jendela perintah, jalankan perintah create-bucket berikut, di mana LocationConstraint adalah Wilayah tempat Anda mengekspor data log.

aws s3api create-bucket --bucket my-exported-logs --create-bucket-configuration LocationConstraint=us-east-2

Berikut ini adalah output contoh.

{
    "Location": "/my-exported-logs"
}

Langkah 2: Siapkan izin akses

Pertama, Anda harus membuat IAM kebijakan baru untuk mengaktifkan CloudWatch Log agar memiliki s3:PutObject izin untuk bucket Amazon S3 tujuan.

Untuk membuat tugas ekspor di langkah 5, Anda harus masuk dengan AmazonS3ReadOnlyAccess IAM peran dan dengan izin tertentu lainnya. Anda dapat membuat kebijakan yang berisi beberapa izin lain yang diperlukan ini.

Kebijakan yang Anda buat bergantung pada apakah bucket tujuan menggunakan AWS KMS enkripsi. Jika tidak menggunakan AWS KMS enkripsi, buat kebijakan dengan konten berikut.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "s3:PutObject",
            "Resource": "arn:aws:s3:::my-exported-logs/*"
        }
    ]
}

Jika bucket tujuan menggunakan AWS KMS enkripsi, buat kebijakan dengan konten berikut.

{
    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": "s3:PutObject",
            "Resource": "arn:aws:s3:::my-exported-logs/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "ARN_OF_KMS_KEY"
        }
    ]
}

Untuk membuat tugas ekspor di langkah 5, Anda harus masuk dengan AmazonS3ReadOnlyAccess IAM peran, IAM kebijakan yang baru saja Anda buat, dan juga dengan izin berikut:

• logs:CreateExportTask

• logs:CancelExportTask

• logs:DescribeExportTasks

• logs:DescribeLogStreams

• logs:DescribeLogGroups

Untuk memberikan akses, menambahkan izin ke pengguna, grup, atau peran Anda:

• Pengguna dan grup di AWS IAM Identity Center:

  Buat rangkaian izin. Ikuti instruksi di Buat rangkaian izin di Panduan Pengguna AWS IAM Identity Center .

• Pengguna yang dikelola IAM melalui penyedia identitas:

  Buat peran untuk federasi identitas. Ikuti petunjuk di Membuat peran untuk penyedia identitas pihak ketiga (federasi) di Panduan IAM Pengguna.

• IAMpengguna:

  • Buat peran yang dapat diambil pengguna Anda. Ikuti petunjuk di Buat peran untuk IAM pengguna di Panduan IAM Pengguna.

  • (Tidak disarankan) Pasang kebijakan langsung ke pengguna atau tambahkan pengguna ke grup pengguna. Ikuti petunjuk di Menambahkan izin ke pengguna (konsol) di Panduan IAM Pengguna.

Langkah 3: Tetapkan izin pada bucket S3

Secara default, semua bucket dan objek S3 bersifat pribadi. Hanya pemilik sumber daya, akun yang membuat bucket, yang dapat mengakses bucket dan objek yang ada di dalamnya. Namun, pemilik sumber daya dapat memilih untuk memberikan izin akses kepada sumber daya dan pengguna lain dengan menulis kebijakan akses.

penting

Untuk membuat ekspor ke bucket S3 lebih aman, kami sekarang meminta Anda untuk menentukan daftar akun sumber yang diizinkan untuk mengekspor data log ke bucket S3 Anda.

Dalam contoh berikut, daftar akun IDs dalam aws:SourceAccount kunci akan menjadi akun dari mana pengguna dapat mengekspor data log ke bucket S3 Anda. aws:SourceArnKuncinya adalah sumber daya tempat tindakan diambil. Anda dapat membatasi ini ke grup log tertentu, atau menggunakan wildcard seperti yang ditunjukkan dalam contoh ini.

Kami menyarankan Anda juga menyertakan ID akun akun tempat bucket S3 dibuat, untuk memungkinkan ekspor dalam akun yang sama.

Untuk menyetel izin pada bucket S3

1. Buat file bernama policy.json dan tambahkan kebijakan akses berikut, ubah my-exported-logs nama bucket S3 Anda dan Principal ke titik akhir Wilayah tempat Anda mengekspor data log, seperti. us-west-1 Gunakan editor teks untuk membuat file kebijakan ini. Jangan gunakan IAM konsol.

   
   {
       "Version": "2012-10-17",
       "Statement": [
         {
             "Action": "s3:GetBucketAcl",
             "Effect": "Allow",
             "Resource": "arn:aws:s3:::my-exported-logs",
             "Principal": { "Service": "logs.Region.amazonaws.com" },
             "Condition": {
               "StringEquals": {
                   "aws:SourceAccount": [
                       "AccountId1",
                       "AccountId2",
                       ...
                   ]
               },
               "ArnLike": {
                       "aws:SourceArn": [
                           "arn:aws:logs:Region:AccountId1:log-group:*",
                           "arn:aws:logs:Region:AccountId2:log-group:*",
                           ...
                        ]
               }
             }
         },
         {
             "Action": "s3:PutObject" ,
             "Effect": "Allow",
             "Resource": "arn:aws:s3:::my-exported-logs/*",
             "Principal": { "Service": "logs.Region.amazonaws.com" },
             "Condition": {
               "StringEquals": {
                   "s3:x-amz-acl": "bucket-owner-full-control",
                   "aws:SourceAccount": [
                       "AccountId1",
                       "AccountId2",
                       ...
                   ]
               },
               "ArnLike": {
                       "aws:SourceArn": [
                           "arn:aws:logs:Region:AccountId1:log-group:*",
                           "arn:aws:logs:Region:AccountId2:log-group:*",
                           ...
                       ]
               }
             }
         },
         {
             "Effect": "Allow",
             "Principal": {
               "AWS": "arn:aws:iam::create_export_task_caller_account:role/role_name"
             },
             "Action": "s3:PutObject",
             "Resource": "arn:aws:s3:::my-exported-logs/*",
             "Condition": {
               "StringEquals": {
                   "s3:x-amz-acl": "bucket-owner-full-control"
               }
             }
          }
       ]
   }

2. Tetapkan kebijakan yang baru saja ditambahkan sebagai kebijakan akses di bucket Anda dengan menggunakan put-bucket-policyperintah. Kebijakan ini memungkinkan CloudWatch Log untuk mengekspor data log ke bucket S3 Anda. Pemilik bucket akan memiliki izin penuh atas semua objek yang diekspor.

   aws s3api put-bucket-policy --bucket my-exported-logs --policy file://policy.json

   Awas

   Jika bucket yang ada sudah memiliki satu atau beberapa kebijakan yang dilampirkan padanya, tambahkan pernyataan untuk akses CloudWatch Log ke kebijakan atau kebijakan tersebut. Sebaiknya Anda mengevaluasi hasil rangkaian izin untuk memastikan bahwa itu sesuai untuk pengguna yang akan mengakses bucket.

(Opsional) Langkah 4: Mengekspor ke ember yang dienkripsi dengan - SSE KMS

Langkah ini diperlukan hanya jika Anda mengekspor ke bucket S3 yang menggunakan enkripsi sisi server. AWS KMS keys Enkripsi ini dikenal sebagai SSE -KMS.

Untuk mengekspor ke ember yang dienkripsi dengan - SSE KMS

1. Gunakan editor teks untuk membuat file bernama key_policy.json dan menambahkan kebijakan akses berikut. Saat Anda menambahkan kebijakan, lakukan perubahan berikut:

   • Ganti Region dengan Wilayah log Anda.

   • Ganti account-ARN dengan ARN akun yang memiliki KMS kunci.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "Allow CWL Service Principal usage",
               "Effect": "Allow",
               "Principal": {
                   "Service": "logs.Region.amazonaws.com"
               },
               "Action": [
                   "kms:GenerateDataKey",
                   "kms:Decrypt"
               ],
               "Resource": "*"
           },
           {
               "Sid": "Enable IAM User Permissions",
               "Effect": "Allow",
               "Principal": {
                   "AWS": "account-ARN"
               },
               "Action": [
                   "kms:GetKeyPolicy*",
                   "kms:PutKeyPolicy*",
                   "kms:DescribeKey*",
                   "kms:CreateAlias*",
                   "kms:ScheduleKeyDeletion*",
                   "kms:Decrypt"
               ],
               "Resource": "*"
           },
           {
               "Sid": "Enable IAM Role Permissions",
               "Effect": "Allow",
               "Principal": {
                   "AWS": "arn:aws:iam::create_export_task_caller_account:role/role_name"
               },
               "Action": [
                   "kms:GenerateDataKey",
                   "kms:Decrypt"
               ],
               "Resource": "ARN_OF_KMS_KEY"
           }
       ]
   }

2. Masukkan perintah berikut:

   aws kms create-key --policy file://key_policy.json

   Berikut ini adalah contoh output dari perintah ini:

   {
       "KeyMetadata": {
           "AWSAccountId": "account_id",
           "KeyId": "key_id",
           "Arn": "arn:aws:kms:us-east-2:account_id:key/key_id",
           "CreationDate": "time",
           "Enabled": true,
           "Description": "",
           "KeyUsage": "ENCRYPT_DECRYPT",
           "KeyState": "Enabled",
           "Origin": "AWS_KMS",
           "KeyManager": "CUSTOMER",
           "CustomerMasterKeySpec": "SYMMETRIC_DEFAULT",
           "KeySpec": "SYMMETRIC_DEFAULT",
           "EncryptionAlgorithms": [
               "SYMMETRIC_DEFAULT"
           ],
           "MultiRegion": false
       }
   

3. Gunakan editor teks untuk membuat file yang disebut bucketencryption.json dengan konten berikut.

   {
     "Rules": [
       {
         "ApplyServerSideEncryptionByDefault": {
           "SSEAlgorithm": "aws:kms",
           "KMSMasterKeyID": "{KMS Key ARN}"
         },
         "BucketKeyEnabled": true
       }
     ]
   }

4. Masukkan perintah berikut, ganti bucket-name dengan nama ember tempat Anda mengekspor log.

   aws s3api put-bucket-encryption --bucket bucket-name --server-side-encryption-configuration file://bucketencryption.json

   Jika perintah tidak mengembalikan kesalahan, prosesnya berhasil.

Langkah 5: Buat tugas ekspor

Gunakan perintah berikut untuk membuat tugas ekspor. Setelah Anda membuatnya, tugas ekspor mungkin memakan waktu mulai dari beberapa detik hingga beberapa jam, tergantung pada ukuran data yang akan diekspor.

Untuk mengekspor data ke Amazon S3 menggunakan AWS CLI

1. Masuk dengan izin yang memadai seperti yang didokumentasikanLangkah 2: Siapkan izin akses.

2. Pada prompt perintah, gunakan create-export-taskperintah berikut untuk membuat tugas ekspor.

   aws logs create-export-task --profile CWLExportUser --task-name "my-log-group-09-10-2015" --log-group-name "my-log-group" --from 1441490400000 --to 1441494000000 --destination "my-exported-logs" --destination-prefix "export-task-output"

   Berikut ini adalah output contoh.

   {
       "taskId": "cda45419-90ea-4db5-9833-aade86253e66"
   }