AthenaCloudWatchKonektor metrik

Amazon AthenaCloudWatchKonektor metrik memungkinkan Amazon Athena melakukan kueriCloudWatchMetrik data dengan SQL.

Untuk informasi tentang metrik kueri penerbitan keCloudWatchdari Athena sendiri, lihatMengontrol biaya dan memantau kueri dengan CloudWatch metrik dan peristiwa.

Prasyarat

• Menyebarkan konektor untuk AndaAkun AWSmenggunakan konsol Athena atauAWS Serverless Application Repository. Untuk informasi lebih lanjut, lihat Menyebarkan konektor sumber data atau MenggunakanAWS Serverless Application Repositoryuntuk menyebarkan konektor sumber data.

Parameter

Gunakan variabel lingkungan Lambda di bagian ini untuk mengonfigurasiCloudWatchKonektor metrik.

• spill_bucket— Menentukan bucket Amazon S3 untuk data yang melebihi batas fungsi Lambda.

• spill_prefiks- (Opsional) Default ke subfolder dalam ditentukanspill_bucketdisebutathena-federation-spill. Kami menyarankan Anda mengonfigurasi Amazon S3siklus hidup penyimpanandi lokasi ini untuk menghapus tumpahan lebih tua dari jumlah yang telah ditentukan hari atau jam.

• spill_put_request_header- (Opsional) Peta header dan nilai permintaan yang dikodekan JSON untuk Amazon S3putObjectpermintaan yang digunakan untuk menumpahkan (misalnya,{"x-amz-server-side-encryption" : "AES256"}). Untuk header lain yang mungkin, lihatPutObjectdi dalamReferensi API Layanan Penyimpanan Sederhana Amazon.

• key_id— (Opsional) Secara default, data apa pun yang tumpah ke Amazon S3 dienkripsi menggunakan mode enkripsi terautentikasi AES-GCM dan kunci yang dibuat secara acak. Agar fungsi Lambda Anda gunakan kunci enkripsi yang lebih kuat yang dihasilkan oleh KMS sepertia7e63k4b-8loc-40db-a2a1-4d0en2cd8331, Anda dapat menentukan ID kunci KMS.

• disable_spill_encryption- (Opsional) Bila diatur keTrue, menonaktifkan enkripsi tumpahan. Defaultnya keFalsesehingga data yang tumpah ke S3 dienkripsi menggunakan AES-GCM - baik menggunakan kunci yang dihasilkan secara acak atau KMS untuk menghasilkan kunci. Menonaktifkan enkripsi tumpahan dapat meningkatkan kinerja, terutama jika lokasi tumpahan Anda menggunakanenkripsi sisi server.

Konektor juga mendukungKontrol kemacetan AIMDuntuk menangani peristiwa throttling dariCloudWatchmelaluiSDK Federasi Kueri Amazon Athena ThrottlingInvokermembangun. Anda dapat men-tweak perilaku pembatasan default dengan menetapkan salah satu variabel lingkungan opsional berikut:

• throttle_initial_delay_ms- Penundaan panggilan awal diterapkan setelah acara kemacetan pertama. Defaultnya adalah 10 milidetik.

• throttle_max_delay_ms- Penundaan maksimum antara panggilan. Anda dapat memperoleh TPS dengan membaginya menjadi 1000ms. Defaultnya adalah 1000 milidetik.

• throttle_decrease_factor— Faktor dimana Athena mengurangi tingkat panggilan. Defaultnya adalah 0.5

• throttle_increase_ms— Tingkat di mana Athena mengurangi penundaan panggilan. Defaultnya adalah 10 milidetik.

Database dan tabel

AthenaCloudWatchKonektor metrik memetakan ruang nama, dimensi, metrik, dan nilai metrik Anda menjadi dua tabel dalam skema tunggal yang disebutdefault.

Tabel metrik

Yangmetricstabel berisi metrik yang tersedia sebagai unik didefinisikan oleh kombinasi namespace, set, dan nama. Yangmetricstabel berisi kolom berikut.

• namespace— SEBUAHVARCHARberisi namespace.

• metric_name— SEBUAHVARCHARberisi nama metrik.

• dimensi— SEBUAHLISTdariSTRUCTbenda-benda yang terdiri daridim_name (VARCHAR)dandim_value (VARCHAR).

• statistik— SEBUAHLISTdariVARCHstatistik (misalnya,p90,AVERAGE,...) tersedia untuk metrik.

Tabel metric_samples

Yangmetric_samplestabel berisi sampel metrik yang tersedia untuk setiap metrik dimetricsmeja. Yangmetric_samplestabel berisi kolom berikut.

• namespace— SEBUAHVARCHARyang berisi namespace.

• metric_name— SEBUAHVARCHARyang berisi nama metrik.

• dimensi— SEBUAHLISTdariSTRUCTbenda-benda yang terdiri daridim_name (VARCHAR)dandim_value (VARCHAR).

• dim_name— SEBUAHVARCHARbidang kenyamanan yang dapat Anda gunakan untuk dengan mudah menyaring pada nama dimensi tunggal.

• dim_nilai— SEBUAHVARCHARbidang kenyamanan yang dapat Anda gunakan untuk dengan mudah menyaring nilai dimensi tunggal.

• kurun— SebuahINTbidang yang mewakili “periode” metrik dalam hitungan detik (misalnya, metrik 60 detik).

• stempel waktu— SEBUAHBIGINTbidang yang mewakili waktu epoch dalam detik yang sampel metrik untuk.

• nilai— SEBUAHFLOAT8bidang yang berisi nilai sampel.

• statistik— SEBUAHVARCHARyang berisi jenis statistik sampel (misalnya,AVERAGEataup90).

Izin yang Diperlukan

Untuk detail lengkap tentang kebijakan IAM yang diperlukan konektor ini, tinjauPoliciesbagian dariathena-cloudwatch-metrics.yamlberkas. Daftar berikut merangkum izin yang diperlukan.

• Akses tulis Amazon S3- Konektor memerlukan akses tulis ke lokasi di Amazon S3 untuk menumpahkan hasil dari kueri besar.

• AthenaGetQueryExecution- Konektor menggunakan izin ini untuk cepat-gagal ketika query Athena hulu telah dihentikan.

• CloudWatchMetrikReadOnly- Konektor menggunakan izin ini untuk menanyakan data metrik Anda.

• CloudWatchLog Menulis- Konektor menggunakan akses ini untuk menulis log diagnostiknya.

Performa

AthenaCloudWatchKonektor metrik mencoba mengoptimalkan kueriCloudWatchMetrik dengan memparalelkan pemindaian aliran log yang diperlukan untuk kueri Anda. Untuk periode waktu tertentu, metrik, namespace, dan filter dimensi, pushdown predikat dilakukan baik dalam fungsi Lambda maupun di dalamnyaCloudWatchLog.

Informasi lisensi

Amazon AthenaCloudWatchProyek konektor metrik dilisensikan di bawahLisensi Apache-2.0.

Lihat juga

Untuk informasi tambahan tentang konektor ini, kunjungisitus yang sesuaidi atasGitHub.com.