Apa itu AWS Glue? - AWS Glue
AWS Glue fitur Belajar tentang inovasi di AWS Glue Memulai dengan AWS Glue Mengakses AWS Glue Layanan terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apa itu AWS Glue?

AWS Glue adalah layanan integrasi data tanpa server yang memudahkan pengguna analitik untuk menemukan, menyiapkan, memindahkan, dan mengintegrasikan data dari berbagai sumber. Anda dapat menggunakannya untuk analitik, machine learning, dan pengembangan aplikasi. Ini juga mencakup produktivitas tambahan dan perkakas operasi data untuk menulis, menjalankan pekerjaan, dan mengimplementasikan alur kerja bisnis.

Dengan AWS GlueAnda dapat menemukan dan terhubung ke lebih dari 70 sumber data yang beragam dan mengelola data Anda dalam katalog data terpusat. Anda dapat membuat, menjalankan, dan memantau pipeline extract, transform, dan load (ETL) secara visual untuk memuat data ke dalam data lake Anda. Selain itu, Anda dapat segera mencari dan menanyakan data katalog menggunakan Amazon Athena, Amazon, dan EMR Amazon Redshift Spectrum.

AWS Glue mengkonsolidasikan kemampuan integrasi data utama ke dalam satu layanan. Ini termasuk penemuan data, modernETL, pembersihan, transformasi, dan katalog terpusat. Ini juga tanpa server, yang berarti tidak ada infrastruktur untuk dikelola. Dengan dukungan fleksibel untuk semua beban kerja sepertiETL,ELT, dan streaming dalam satu layanan, AWS Glue mendukung pengguna di berbagai beban kerja dan jenis pengguna.

Juga, AWS Glue membuatnya mudah untuk mengintegrasikan data di seluruh arsitektur Anda. Ini terintegrasi dengan layanan AWS analitik dan danau data Amazon S3. AWS Glue memiliki antarmuka integrasi dan alat penulisan pekerjaan yang mudah digunakan untuk semua pengguna, dari pengembang hingga pengguna bisnis, dengan solusi yang disesuaikan untuk beragam keahlian teknis.

Dengan kemampuan untuk menskalakan sesuai permintaan, AWS Glue membantu Anda fokus pada aktivitas bernilai tinggi yang memaksimalkan nilai data Anda. Ini menskalakan untuk ukuran data apa pun, dan mendukung semua tipe data dan varians skema. Untuk meningkatkan kelincahan dan mengoptimalkan biaya, AWS Glue menyediakan ketersediaan tinggi bawaan dan penagihan pay-as-you -go.

Untuk informasi harga, lihat AWS Glue harga.

AWS Glue Studio

AWS Glue Studio adalah antarmuka grafis yang memudahkan untuk membuat, menjalankan, dan memantau pekerjaan integrasi data di AWS Glue. Anda dapat menyusun alur kerja transformasi data secara visual dan menjalankannya dengan mulus di mesin tanpa server berbasis Apache Spark ETL AWS Glue.

Dengan AWS Glue StudioAnda dapat membuat dan mengelola pekerjaan yang mengumpulkan, mengubah, dan membersihkan data. Anda juga dapat menggunakan AWS Glue Studio untuk memecahkan masalah dan mengedit skrip pekerjaan.

AWS Glue fitur

AWS Glue fitur terbagi dalam tiga kategori utama:

  • Temukan dan atur data

  • Mengubah, menyiapkan, dan membersihkan data untuk analisis

  • Membangun dan memantau jaringan data

Temukan dan atur data

  • Menyatukan dan mencari di beberapa penyimpanan data — Simpan, indeks, dan cari di berbagai sumber data dan sink dengan membuat katalog semua data Anda. AWS

  • Temukan data secara otomatis - Gunakan AWS Glue crawler untuk secara otomatis menyimpulkan informasi skema dan mengintegrasikannya ke dalam Anda. AWS Glue Data Catalog

  • Kelola skema dan izin — Validasi dan kontrol akses ke database dan tabel Anda.

  • Connect ke berbagai sumber data — Manfaatkan beberapa sumber data, baik di tempat maupun di tempat AWS, menggunakan AWS Glue koneksi untuk membangun danau data Anda.

Mengubah, menyiapkan, dan membersihkan data untuk analisis

  • Transformasi data secara visual dengan antarmuka kanvas pekerjaan - Tentukan ETL proses Anda di editor pekerjaan visual dan buat kode secara otomatis untuk mengekstrak, mengubah, dan memuat data Anda.

  • Bangun ETL jaringan pipa yang kompleks dengan penjadwalan pekerjaan sederhana — Invoke AWS Glue pekerjaan sesuai jadwal, sesuai permintaan, atau berdasarkan suatu acara.

  • Bersihkan dan ubah data streaming dalam perjalanan - Aktifkan konsumsi data berkelanjutan, dan bersihkan serta ubah dalam perjalanan. Ini membuatnya tersedia untuk analisis dalam hitungan detik di penyimpanan data target Anda.

  • Hapus duplikat dan bersihkan data dengan pembelajaran mesin bawaan — Bersihkan dan siapkan data Anda untuk dianalisis tanpa menjadi ahli pembelajaran mesin dengan menggunakan fitur ini. FindMatches Fitur ini menghapus duplikasi dan menemukan catatan yang tidak cocok satu sama lain.

  • Notebook pekerjaan bawaan — AWS Glue notebook pekerjaan menyediakan notebook tanpa server dengan pengaturan minimal AWS Glue sehingga Anda dapat memulai dengan cepat.

  • Edit, debug, dan uji ETL kode — Dengan AWS Glue sesi interaktif, Anda dapat mengeksplorasi dan menyiapkan data secara interaktif. Anda dapat menjelajahi, bereksperimen, dan memproses data secara interaktif menggunakan IDE atau buku catatan pilihan Anda.

  • Mendefinisikan, mendeteksi, dan memulihkan data sensitif — AWS Glue Deteksi data sensitif memungkinkan Anda menentukan, mengidentifikasi, dan memproses data sensitif di pipeline data Anda dan di danau data Anda.

Membangun dan memantau jaringan data

  • Secara otomatis menskalakan berdasarkan beban kerja — Menskalakan sumber daya secara dinamis ke atas dan ke bawah berdasarkan beban kerja. Ini menugaskan pekerja untuk pekerjaan hanya ketika dibutuhkan.

  • Mengotomatiskan pekerjaan dengan pemicu berbasis peristiwa — Mulai crawler atau AWS Glue pekerjaan dengan pemicu berbasis peristiwa, dan merancang rantai pekerjaan dan perayap yang bergantung.

  • Jalankan dan pantau pekerjaan - Jalankan AWS Glue pekerjaan dengan mesin pilihan Anda, Spark atau Ray. Pantau mereka dengan alat pemantauan otomatis, AWS Glue wawasan menjalankan pekerjaan, dan AWS CloudTrail. Tingkatkan pemantauan Anda terhadap pekerjaan yang didukung Spark dengan Apache Spark UI.

  • Tentukan alur kerja untuk ETL dan aktivitas integrasi — Tentukan alur kerja untuk ETL dan aktivitas integrasi untuk beberapa crawler, pekerjaan, dan pemicu.

Belajar tentang inovasi di AWS Glue

Pelajari tentang inovasi terbaru AWS Glue dan dengarkan bagaimana pelanggan menggunakan AWS Glue untuk memungkinkan persiapan data swalayan di seluruh organisasi mereka.

Pelajari bagaimana skala pelanggan AWS Glue melampaui pengaturan tradisional dan cara mereka mengonfigurasi AWS Glue pemantauan dan kinerja pekerjaan.

Memulai dengan AWS Glue

Kami menyarankan Anda memulai dengan bagian berikut:

Mengakses AWS Glue

Anda dapat membuat, melihat, dan mengelola AWS Glue pekerjaan menggunakan antarmuka berikut:

  • AWS Glue konsol — Menyediakan antarmuka web bagi Anda untuk membuat, melihat, dan mengelola AWS Glue pekerjaan. Untuk mengakses konsol, lihat AWS Glue.

  • AWS Glue Studio— Menyediakan antarmuka grafis bagi Anda untuk membuat dan mengedit AWS Glue pekerjaan secara visual. Untuk informasi selengkapnya, lihat Membangun ETL pekerjaan visual dengan AWS Glue Studio.

  • AWS Glue bagian AWS CLI Referensi - Menyediakan AWS CLI perintah yang dapat Anda gunakan AWS Glue. Untuk informasi selengkapnya, lihat AWS CLI Referensi AWS Glue.

  • AWS Glue API— Memberikan API referensi lengkap untuk pengembang. Untuk informasi selengkapnya, silakan lihat AWS Glue API.

Pengguna AWS Glue juga menggunakan:

  • AWS Lake Formation— Layanan yang merupakan lapisan otorisasi yang menyediakan kontrol akses berbutir halus ke sumber daya di AWS Glue Data Catalog.

  • AWS Glue DataBrew— Alat persiapan data visual yang dapat Anda gunakan untuk membersihkan dan menormalkan data tanpa menulis kode apa pun.