Kuota Amazon Data Firehose - Amazon Data Firehose

Mengirimkan aliran Amazon Data Firehose ke Apache Iceberg Tables di Amazon S3 sedang dalam pratinjau dan dapat berubah sewaktu-waktu.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kuota Amazon Data Firehose

Amazon Data Firehose memiliki kuota berikut.

  • Dengan Amazon MSK sebagai sumber aliran Firehose, setiap aliran Firehose memiliki kuota default 10 MB/detik throughput baca per partisi dan ukuran rekaman maksimal 10MB. Anda dapat menggunakan peningkatan kuota Layanan untuk meminta peningkatan kuota default 10 MB/detik throughput baca per partisi.

  • Dengan Amazon MSK sebagai sumber aliran Firehose, ada ukuran rekaman maksimum 6Mb jika AWS Lambda diaktifkan, dan ukuran rekaman maksimum 10Mb jika Lambda dinonaktifkan. AWS Lambda membatasi catatan masuknya menjadi 6 MB, dan Amazon Data Firehose meneruskan catatan di atas 6Mb ke bucket S3 kesalahan. Jika Lambda dinonaktifkan, Firehose membatasi catatan masuknya menjadi 10 MB. Jika Amazon Data Firehose menerima ukuran rekaman dari Amazon yang lebih besar dari 10MB, Amazon MSK Data Firehose mengirimkan catatan ini ke bucket kesalahan S3 dan memancarkan metrik Cloudwatch ke akun Anda. Untuk informasi lebih lanjut tentang AWS Batas Lambda, lihat: https://docs.aws.amazon.com/lambda/ latest/dg/gettingstarted-limits.html.

  • Saat partisi dinamis pada aliran Firehose diaktifkan, ada kuota default 500 partisi aktif yang dapat dibuat untuk aliran Firehose tersebut. Jumlah partisi aktif adalah jumlah total partisi aktif dalam buffer pengiriman. Misalnya, jika kueri partisi dinamis membangun 3 partisi per detik dan Anda memiliki konfigurasi petunjuk buffer yang memicu pengiriman setiap 60 detik, maka, rata-rata, Anda akan memiliki 180 partisi aktif. Setelah data dikirim dalam partisi, maka partisi ini tidak lagi aktif. Anda dapat menggunakan formulir Amazon Data Firehose Limits untuk meminta peningkatan kuota ini hingga 5000 partisi aktif per aliran Firehose tertentu. Jika Anda membutuhkan lebih banyak partisi, Anda dapat membuat lebih banyak aliran Firehose dan mendistribusikan partisi aktif di dalamnya.

  • Saat partisi dinamis pada aliran Firehose diaktifkan, throughput maksimal 1 GB per detik didukung untuk setiap partisi aktif.

  • Setiap akun akan memiliki kuota berikut untuk jumlah aliran Firehose per Wilayah:

    • AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (Oregon), Eropa (Irlandia), Asia Pasifik (Tokyo): 5.000 aliran Firehose

    • Eropa (Frankfurt), Eropa (London), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Seoul), Asia Pasifik (Mumbai), AWS GovCloud (AS-Barat), Kanada (Barat), Kanada (Tengah): 2.000 aliran Firehose

    • Eropa (Paris), Eropa (Milan), Eropa (Stockholm), Asia Pasifik (Hong Kong), Asia Pasifik (Osaka), Amerika Selatan (Sao Paulo), Tiongkok (Ningxia), Tiongkok (Beijing), Timur Tengah (Bahrain), AWS GovCloud (AS-Timur), Afrika (Cape Town): 500 aliran Firehose

    • Eropa (Zurich), Eropa (Spanyol), Asia Pasifik (Hyderabad), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Timur Tengah (), Israel (Tel AvivUAE), Kanada Barat (Calgary), Kanada (Tengah), Asia Pasifik (Malaysia): 100 aliran Firehose

    • Jika Anda melebihi nomor ini, panggilan untuk CreateDeliveryStreammenghasilkan LimitExceededException pengecualian. Untuk menambah kuota ini, Anda dapat menggunakan Service Quotas jika tersedia di Wilayah Anda. Untuk informasi tentang penggunaan Service Quotas, lihat Meminta Peningkatan Kuota. Jika Service Quotas tidak tersedia di Wilayah Anda, Anda dapat menggunakan formulir Amazon Data Firehose Limits untuk meminta kenaikan.

  • Ketika Direct PUT dikonfigurasi sebagai sumber data, setiap aliran Firehose menyediakan kuota gabungan untuk PutRecorddan permintaan berikut: PutRecordBatch

    • Untuk US East (N. Virginia), US West (Oregon), dan Europe (Ireland): 500.000 catatan/detik, 2.000 permintaan/detik, dan 5 MiB/detik.

    • Untuk AS Timur (Ohio), AS Barat (California N.), AWS GovCloud (AS-Timur), AWS GovCloud (AS-Barat), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Seoul), Asia Pasifik (Singapura), China (Beijing), China (Ningxia), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Kanada Barat (Calgary), Eropa (Frankfurt), Eropa (London), Eropa (Paris), Eropa (Stockholm), Timur Tengah (Bahrain), Amerika Selatan (São Paulo), Afrika (Cape Town), Asia Pasifik (Malaysia), dan Eropa (Milan): 100.000 rekor/detik, 1.000 permintaan/detik, dan 1 MIB/detik.

    Untuk meminta peningkatan kuota, gunakan formulir Batas Firehose Data Amazon. Ketiga kuota tersebut diskalakan secara proporsional. Misalnya, jika Anda meningkatkan kuota throughput di US East (N. Virginia), US West (Oregon), atau Europe (Ireland) ke MiB/detik, kedua kuota lainnya meningkat menjadi 4.000 permintaan/detik dan 1.000.000 catatan/detik.

    penting

    Jika kuota meningkat jauh lebih tinggi daripada lalu lintas berjalan, hal itu menyebabkan batch pengiriman yang kecil ke tujuan. Hal ini tidak efisien dan dapat mengakibatkan biaya yang lebih tinggi di layanan tujuan. Pastikan untuk meningkatkan kuota hanya untuk mencocokkan lalu lintas berjalan saat ini, dan tingkatkan kuota lebih lanjut jika lalu lintas meningkat.

    penting

    Perhatikan bahwa catatan data yang lebih kecil dapat menyebabkan biaya yang lebih tinggi. Harga konsumsi Firehose didasarkan pada jumlah catatan data yang Anda kirim ke layanan, kali ukuran setiap catatan yang dibulatkan ke 5KB terdekat (5120 byte). Jadi, untuk volume data masuk yang sama (byte), jika ada lebih banyak catatan masuk, biaya yang dikenakan akan lebih tinggi. Misalnya, jika total volume data yang masuk adalah 5MiB, mengirim 5MiB data menggunakan lebih dari 5.000 catatan akan memakan biaya lebih tinggi dibandingkan dengan mengirim jumlah data yang sama menggunakan 1.000 catatan. Untuk informasi selengkapnya, lihat Amazon Data Firehose di AWS Kalkulator.

    catatan

    Jika Kinesis Data Streams dikonfigurasi sebagai sumber data, kuota ini tidak berlaku, dan Amazon Data Firehose menskalakan naik dan turun tanpa batas.

  • Setiap aliran Firehose menyimpan catatan data hingga 24 jam jika tujuan pengiriman tidak tersedia dan jika sumbernya. DirectPut Jika sumbernya adalah Kinesis Data KDS Streams () dan tujuan tidak tersedia, maka data akan disimpan berdasarkan konfigurasi Anda. KDS

  • Ukuran maksimum catatan yang dikirim ke Amazon Data Firehose, sebelum pengkodean base64, adalah 1.000 KiB.

  • PutRecordBatchOperasi dapat memakan waktu hingga 500 catatan per panggilan atau 4 MiB per panggilan, mana yang lebih kecil. Kuota ini tidak bisa diubah.

  • Masing-masing operasi berikut dapat memberikan hingga lima pemanggilan per detik, yang merupakan batas sulit.

  • Petunjuk interval buffer berkisar antara 60 detik hingga 900 detik.

  • Untuk pengiriman dari Amazon Data Firehose ke Amazon Redshift, hanya klaster Amazon Redshift yang dapat diakses publik yang didukung.

  • Rentang durasi coba lagi adalah dari 0 detik hingga 7.200 detik untuk Amazon Redshift OpenSearch dan pengiriman Layanan.

  • Firehose mendukung Elasticsearch versi 1.5, 2.3, 5.1, 5.3, 5.5, 5.6, serta semua versi 6.* dan 7.* dan Amazon Service 2.x hingga 2.11. OpenSearch

  • Jika tujuannya adalah Amazon S3, Amazon Redshift, atau OpenSearch Service, Amazon Data Firehose memungkinkan hingga 5 pemanggilan Lambda yang luar biasa per pecahan. Untuk Splunk, kuotanya adalah 10 panggilan Lambda yang tertunda per serpihan.

  • Anda dapat menggunakan CMK tipe CUSTOMER _ MANAGED _ CMK untuk mengenkripsi hingga 500 aliran Firehose.