Konfigurasikan pengaturan cadangan dan lanjutan

Topik ini menjelaskan cara mengonfigurasi cadangan dan pengaturan lanjutan untuk aliran Firehose Anda.

Konfigurasikan pengaturan cadangan

Amazon Data Firehose menggunakan Amazon S3 untuk mencadangkan semua atau hanya data yang gagal yang coba dikirim ke tujuan yang Anda pilih.

penting

• Pengaturan Backup hanya didukung jika sumber aliran Firehose Anda adalah Direct PUT atau Kinesis Data Streams.

• Fitur buffering nol hanya tersedia untuk tujuan aplikasi dan tidak tersedia untuk tujuan cadangan Amazon S3.

Anda dapat menentukan pengaturan cadangan S3 untuk aliran Firehose Anda jika Anda membuat salah satu dari pilihan berikut:

• Jika Anda menetapkan Amazon S3 sebagai tujuan aliran Firehose Anda dan Anda memilih untuk menentukan fungsi AWS Lambda untuk mengubah catatan data atau jika Anda memilih untuk mengonversi format rekaman data untuk aliran Firehose Anda.

• Jika Anda menetapkan Amazon Redshift sebagai tujuan aliran Firehose Anda dan Anda memilih untuk menentukan fungsi AWS Lambda untuk mengubah catatan data.

• Jika Anda menetapkan salah satu layanan berikut sebagai tujuan untuk aliran Firehose Anda: Amazon OpenSearch Service, Datadog, Dynatrace, HTTP Endpoint,, LogicMonitor MongoDB Cloud, New Relic, Splunk, atau Sumo Logic.

Berikut ini adalah pengaturan cadangan untuk aliran Firehose Anda.

• Pencadangan catatan sumber di Amazon S3 - jika S3 atau Amazon Redshift adalah tujuan yang Anda pilih, pengaturan ini menunjukkan apakah Anda ingin mengaktifkan cadangan data sumber atau menonaktifkannya. Jika layanan lain yang didukung (selain S3 atau Amazon Redshift) ditetapkan sebagai tujuan yang Anda pilih, maka pengaturan ini menunjukkan jika Anda ingin mencadangkan semua data sumber atau data yang gagal saja.

• Bucket cadangan S3 - ini adalah bucket S3 tempat Amazon Data Firehose mencadangkan data Anda.

• Awalan bucket cadangan S3 - ini adalah awalan tempat Amazon Data Firehose mencadangkan data Anda.

• Awalan keluaran kesalahan bucket cadangan S3 - semua data yang gagal dicadangkan dalam awalan keluaran kesalahan bucket S3 ini.

• Petunjuk penyangga, kompresi, dan enkripsi untuk pencadangan - Amazon Data Firehose menggunakan Amazon S3 untuk mencadangkan semua atau hanya gagal data yang coba dikirim ke tujuan yang Anda pilih. Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya (mencadangkannya) ke Amazon S3. Anda dapat memilih ukuran buffer 1—128 MiBs dan interval buffer 60—900 detik. Syarat pertama yang dipenuhi memicu pengiriman data ke Amazon S3. Jika Anda mengaktifkan transformasi data, interval buffer berlaku dari waktu data yang diubah diterima oleh Amazon Data Firehose hingga pengiriman data ke Amazon S3. Jika pengiriman data ke tujuan tertinggal dari penulisan data ke aliran Firehose, Amazon Data Firehose meningkatkan ukuran buffer secara dinamis untuk mengejar ketinggalan. Tindakan ini membantu memastikan bahwa semua data dikirim ke tujuan.

• Kompresi S3 - pilih kompresi data Snappy, Snappy, Zip, atau Hadoop-Compatible Snappy, atau tidak ada kompresi data. Kompresi Snappy Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk aliran Firehose dengan Amazon Redshift sebagai tujuannya.

• Format ekstensi file S3 (opsional) — Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.parquet atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang benar saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.

• Firehose mendukung enkripsi sisi server Amazon S3 AWS Key Management Service dengan (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau untuk mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan kunci AWS terkelola default (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server dengan Kunci yang Dikelola KMS ( AWS SSE-KMS).

Konfigurasikan pengaturan lanjutan

Bagian berikut berisi detail tentang pengaturan lanjutan untuk aliran Firehose Anda.

• Enkripsi sisi server - Amazon Data Firehose mendukung enkripsi sisi server Amazon S3 AWS dengan Key Management Service (AWS KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server dengan Kunci Terkelola KMS ( AWS SSE-KMS).

• Pencatatan kesalahan - Amazon Data Firehose mencatat kesalahan yang terkait dengan pemrosesan dan pengiriman. Selain itu, ketika transformasi data diaktifkan, ia dapat mencatat pemanggilan Lambda dan mengirim kesalahan pengiriman data ke Log. CloudWatch Untuk informasi selengkapnya, lihat Memantau Amazon Data Firehose Menggunakan CloudWatch Log.

  penting

  Meskipun opsional, mengaktifkan pencatatan kesalahan Amazon Data Firehose selama pembuatan aliran Firehose sangat disarankan. Praktik ini memastikan bahwa Anda dapat mengakses detail kesalahan jika terjadi pemrosesan catatan atau kegagalan pengiriman.

• Izin - Amazon Data Firehose menggunakan peran IAM untuk semua izin yang dibutuhkan aliran Firehose. Anda dapat memilih untuk membuat peran baru di mana izin yang diperlukan ditetapkan secara otomatis, atau memilih peran yang sudah ada yang dibuat untuk Amazon Data Firehose. Peran ini digunakan untuk memberikan akses Firehose ke berbagai layanan, termasuk bucket S3, kunci AWS KMS (jika enkripsi data diaktifkan), dan fungsi Lambda (jika transformasi data diaktifkan). Konsol dapat membuat peran dengan placeholder. Untuk informasi lebih lanjut, lihat Apa itu IAM? .

• Tag - Anda dapat menambahkan tag untuk mengatur AWS sumber daya Anda, melacak biaya, dan mengontrol akses.

  Jika Anda menentukan tag dalam CreateDeliveryStream tindakan, Amazon Data Firehose akan melakukan otorisasi tambahan pada firehose:TagDeliveryStream tindakan tersebut untuk memverifikasi apakah pengguna memiliki izin untuk membuat tag. Jika Anda tidak memberikan izin ini, permintaan untuk membuat aliran Firehose baru dengan tag sumber daya IAM akan gagal dengan hal seperti berikut. AccessDeniedException

  AccessDeniedException 
  User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy.

  Contoh berikut menunjukkan kebijakan yang memungkinkan pengguna membuat aliran Firehose dan menerapkan tag.

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": "firehose:CreateDeliveryStream",
              "Resource": "*",
              }
          },
          {
              "Effect": "Allow",
              "Action": "firehose:TagDeliveryStream",
              "Resource": "*",
              }
          }
      ]
  }

Setelah Anda memilih pengaturan cadangan dan lanjutan, tinjau pilihan Anda, lalu pilih Create Firehose stream.

Aliran Firehose baru membutuhkan beberapa saat dalam status Membuat sebelum tersedia. Setelah aliran Firehose Anda dalam status Aktif, Anda dapat mulai mengirim data ke sana dari produsen Anda.