Menggunakan Amazon Athena - Amazon Athena

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan Amazon Athena

Jika Anda memiliki data dalam sumber selain Amazon S3, Anda dapat menggunakan Kueri Gabungan Athena untuk mengkueri data di tempat atau membangun alur yang mengekstraksi data dari beberapa sumber data dan menyimpannya di Amazon S3. Dengan Kueri Gabungan Athena, Anda dapat menjalankan kueri SQL di seluruh data yang disimpan dalam sumber data relasional, non-relasional, objek, dan kustom.

Athena menggunakan konektor sumber data yang berjalan AWS Lambda untuk menjalankan kueri federasi. Konektor sumber data adalah bagian dari kode yang dapat menerjemahkan antara sumber data target Anda dan Athena. Anda bisa memikirkan konektor sebagai perpanjangan mesin permintaan Athena. Konektor sumber data Athena bawaan ada untuk sumber data seperti Amazon Logs, Amazon DynamoDB, CloudWatch Amazon DocumentDB, dan Amazon RDS, dan sumber data relasional yang sesuai dengan JDBC seperti MySQL, dan PostgreSQL di bawah lisensi Apache 2.0. Anda juga dapat menggunakan Athena Kueri Federation SDK untuk menulis konektor kustom. Untuk memilih, mengonfigurasi, dan menggunakan konektor sumber data ke akun Anda, Anda dapat menggunakan konsol Athena dan Lambda atau AWS Serverless Application Repository. Setelah Anda men-deploy konektor sumber data, konektor dikaitkan dengan katalog yang dapat Anda tentukan dalam SQL kueri. Anda dapat menggabungkan pernyataan SQL dari beberapa katalog dan rentang beberapa sumber data dengan satu kueri.

Saat kueri diajukan terhadap sumber data, Athena memanggil konektor yang sesuai untuk mengidentifikasi bagian-bagian tabel yang perlu dibaca, mengelola paralelisme, dan menekan predikat filter. Berdasarkan pengguna mengirimkan kueri, konektor dapat menyediakan atau membatasi akses ke elemen data tertentu. Konektor menggunakan Apache Arrow sebagai format untuk mengembalikan data yang diminta dalam kueri, yang memungkinkan konektor untuk diimplementasikan dalam bahasa seperti C, C ++, Java, Python, dan Rust. Karena konektor diproses di Lambda, konektor dapat digunakan untuk mengakses data dari sumber data apa pun di cloud atau lokal yang dapat diakses dari Lambda.

Untuk menulis konektor sumber data Anda sendiri, Anda dapat menggunakan Athena Kueri Federation SDK untuk menyesuaikan salah satu konektor prebuilt yang disediakan dan dipelihara Amazon Athena. Anda dapat memodifikasi salinan kode sumber dari GitHub repositori dan kemudian menggunakan alat publikasi Connector untuk membuat paket Anda sendiri AWS Serverless Application Repository .

catatan

Developer pihak ketiga mungkin telah menggunakan Athena Kueri Federation SDK untuk menulis konektor sumber data. Untuk masalah dukungan atau lisensi dengan konektor sumber data ini, silakan bekerja dengan penyedia konektor Anda. Konektor ini tidak diuji atau didukung oleh AWS.

Untuk daftar konektor sumber data yang ditulis dan diuji oleh Athena, lihat Konektor sumber data yang tersedia.

Untuk informasi tentang menulis konektor sumber data Anda sendiri, lihat Contoh konektor Athena aktif. GitHub

Pertimbangan dan batasan

  • Versi mesin - Athena Federated Query hanya didukung pada mesin Athena versi 2 dan versi yang lebih baru. Untuk informasi selengkapnya tentang versi mesin Aurora, lihat Versi mesin Athena.

  • Tampilan — Anda dapat membuat dan menanyakan tampilan pada sumber data gabungan. Tampilan federasi disimpan di AWS Glue, bukan sumber data yang mendasarinya. Untuk informasi selengkapnya, lihat Menanyakan pandangan federasi.

  • Operasi tulis - Operasi tulis seperti INSERT INTO tidak didukung. Mencoba melakukannya dapat mengakibatkan pesan kesalahan Operasi ini saat ini tidak didukung untuk katalog eksternal.

  • Harga - Untuk informasi harga, lihat Harga Amazon Athena.

    Driver JDBC - Untuk menggunakan driver JDBC dengan kueri gabungan atau metastore Hive eksternal, termasukMetadataRetrievalMethod=ProxyAPI dalam string koneksi JDBC Anda. Untuk informasi tentang driver JDBC, lihat Menghubungkan ke Amazon Athena dengan JDBC.

  • Secrets Manager - Untuk menggunakan fitur Kueri Gabungan Athena dengan AWS Secrets Manager, Anda harus mengonfigurasi Vpc endpoint privat untuk Secrets Manager. Untuk informasi selengkapnya, lihat Membuat titik akhir pribadi VPC Secrets Manager di Panduan Pengguna.AWS Secrets Manager

Konektor sumber data mungkin memerlukan akses ke sumber daya berikut agar berfungsi dengan benar. Jika Anda menggunakan konektor prebuilt, periksa informasi untuk konektor untuk memastikan bahwa Anda telah mengonfigurasi VPC Anda dengan benar. Juga, memastikan bahwa IAM utama menjalankan kueri dan menciptakan konektor memiliki hak untuk tindakan yang diperlukan. Untuk informasi selengkapnya, lihat Contoh kebijakan izin IAM untuk mengizinkan Kueri Federasi Athena.

  • Amazon S3— Selain menulis hasil kueri ke lokasi hasil kueri Athena di Amazon S3, konektor data juga menulis ke bucket tumpahan di Amazon S3. Konektivitas dan izin ke lokasi Amazon S3 ini diperlukan.

  • Athena— Sumber data memerlukan konektivitas ke Athena dan sebaliknya untuk memeriksa status kueri dan mencegah overscan.

  • AWS Glue Data Catalog— Konektivitas dan izin diperlukan jika konektor Anda menggunakan Katalog Data untuk metadata tambahan atau primer.

Video

Tonton video berikut untuk mempelajari selengkapnya tentang menggunakan Kueri Gabungan Athena.

Video: Analisis Hasil Kueri Federasi di Amazon Athena di Amazon QuickSight

Video berikut menunjukkan cara menganalisis hasil kueri federasi Athena di Amazon. QuickSight

Video: Alur Analitik Game

Video berikut menunjukkan cara men-deploy alur data tanpa server terukur untuk menelan, menyimpan, dan menganalisis data telemetri dari game dan layanan menggunakan kueri Gabungan Amazon Athena.