Integrasi data Amazon Q di AWS Glue

Integrasi data Amazon Q AWS Glue adalah kemampuan AI generatif baru AWS Glue yang memungkinkan insinyur data dan pengembang ETL untuk membangun pekerjaan integrasi data menggunakan bahasa alami. Insinyur dan pengembang dapat meminta Amazon Q untuk membuat pekerjaan, memecahkan masalah, dan menjawab pertanyaan tentang AWS Glue dan integrasi data.

Apa itu Amazon Q?

catatan

Didukung oleh Amazon Bedrock: AWS mengimplementasikan deteksi penyalahgunaan otomatis. Karena integrasi data Amazon Q dibangun di Amazon Bedrock, pengguna dapat memanfaatkan sepenuhnya kontrol yang diterapkan di Amazon Bedrock untuk menegakkan keselamatan, keamanan, dan penggunaan kecerdasan buatan (AI) yang bertanggung jawab.

Amazon Q adalah asisten percakapan yang didukung kecerdasan buatan (AI) generatif yang dapat membantu Anda memahami, membangun, memperluas, dan mengoperasikan AWS aplikasi. Model yang mendukung Amazon Q telah ditambah dengan AWS konten berkualitas tinggi untuk memberi Anda jawaban yang lebih lengkap, dapat ditindaklanjuti, dan direferensikan untuk mempercepat pembangunan Anda. AWS Untuk informasi selengkapnya, lihat Apa itu Amazon Q?

Apa itu integrasi data Amazon Q AWS Glue?

Integrasi data Amazon Q AWS Glue mencakup kemampuan berikut:

• Obrolan — Integrasi data Amazon Q AWS Glue dapat menjawab pertanyaan bahasa alami dalam bahasa Inggris tentang AWS Glue dan domain integrasi data seperti konektor AWS Glue sumber dan tujuan, pekerjaan AWS Glue ETL, Katalog Data, crawler dan AWS Lake Formation, dan dokumentasi fitur lainnya, dan praktik terbaik. Integrasi data Amazon Q dalam AWS Glue merespons dengan step-by-step instruksi, dan menyertakan referensi ke sumber informasinya.

• Pembuatan kode integrasi data — Integrasi data Amazon Q AWS Glue dapat menjawab pertanyaan tentang skrip AWS Glue ETL, dan menghasilkan kode baru yang diberikan pertanyaan bahasa alami dalam bahasa Inggris.

• Pemecahan masalah — Integrasi data Amazon Q AWS Glue dibuat untuk membantu Anda memahami kesalahan dalam AWS Glue pekerjaan dan memberikan step-by-step instruksi, untuk akar penyebab dan menyelesaikan masalah Anda.

catatan

Integrasi data Amazon Q di AWS Glue tidak menggunakan konteks percakapan Anda untuk menginformasikan tanggapan future selama durasi percakapan Anda. Setiap percakapan dengan integrasi data Amazon Q AWS Glue tidak tergantung pada percakapan Anda sebelumnya atau masa depan.

Bekerja dengan integrasi data Amazon Q di AWS Glue?

Di panel Amazon Q Anda dapat meminta Amazon Q menghasilkan kode untuk skrip AWS Glue ETL, atau menjawab pertanyaan tentang AWS Glue fitur atau memecahkan masalah kesalahan. Responsnya adalah skrip ETL PySpark dengan step-by-step instruksi untuk menyesuaikan skrip, meninjau dan menjalankannya. Untuk pertanyaan, respons dihasilkan berdasarkan basis pengetahuan integrasi data dengan ringkasan dan URL sumber untuk referensi.

Misalnya, Anda dapat meminta Amazon Q untuk "Harap berikan skrip Glue yang berbunyi dari Snowflake, mengganti nama bidang, dan menulis ke Redshift" dan sebagai tanggapan, integrasi data Amazon Q AWS Glue akan mengembalikan skrip AWS Glue pekerjaan yang dapat melakukan tindakan yang diminta. Anda dapat meninjau kode yang dihasilkan untuk memastikan kode tersebut memenuhi maksud yang diminta. Jika puas, Anda dapat menerapkannya sebagai AWS Glue pekerjaan dalam produksi. Anda dapat memecahkan masalah pekerjaan dengan meminta integrasi untuk menjelaskan kesalahan dan kegagalan, dan untuk mengusulkan solusi. Amazon Q dapat menjawab pertanyaan tentang AWS Glue atau praktik terbaik integrasi data.

Berikut ini adalah contoh pertanyaan yang menunjukkan bagaimana integrasi data Amazon Q AWS Glue dapat membantu Anda membangun AWS Glue:

AWS Glue Pembuatan kode ETL:

• Tulis AWS Glue skrip yang membaca JSON dari S3, mengubah bidang menggunakan pemetaan terapan dan menulis ke Amazon Redshift

• Bagaimana cara menulis AWS Glue skrip untuk membaca dari DynamoDB, menerapkan transformasi dan menulis ke DropNullFields S3 sebagai Parket?

• Beri saya AWS Glue skrip yang membaca dari MySQL, menjatuhkan beberapa bidang berdasarkan logika bisnis saya, dan menulis ke Snowflake

• Menulis AWS Glue pekerjaan untuk membaca dari DynamoDB dan menulis ke S3 sebagai JSON

• Bantu saya mengembangkan AWS Glue skrip untuk Katalog AWS Glue Data ke S3

• Tulis AWS Glue pekerjaan untuk membaca JSON dari S3, jatuhkan nulls dan tulis ke Redshift

AWS Glue penjelasan fitur:

• Bagaimana cara menggunakan Kualitas AWS Glue Data?

• Bagaimana cara menggunakan bookmark AWS Glue pekerjaan?

• Bagaimana cara mengaktifkan AWS Glue penskalaan otomatis?

• Apa perbedaan antara frame AWS Glue dinamis dan frame data Spark?

• Apa saja jenis koneksi yang didukung oleh AWS Glue?

AWS Glue pemecahan masalah:

• Bagaimana cara mengatasi kesalahan Out Of Memory (OOM) pada pekerjaan? AWS Glue

• Apa saja pesan kesalahan yang mungkin Anda lihat saat mengatur Kualitas AWS Glue Data dan bagaimana Anda bisa memperbaikinya?

• Bagaimana cara memperbaiki AWS Glue pekerjaan dengan kesalahan akses Amazon S3 ditolak?

• Bagaimana cara mengatasi masalah dengan pengocokan data pada AWS Glue pekerjaan?

Praktik terbaik untuk berinteraksi dengan integrasi data Amazon Q

Berikut ini adalah praktik terbaik untuk berinteraksi dengan integrasi data Amazon Q:

• Saat berinteraksi dengan integrasi data Amazon Q, ajukan pertanyaan spesifik, ulangi ketika Anda memiliki permintaan yang rumit, dan verifikasi jawaban untuk akurasi.

• Saat memberikan petunjuk integrasi data dalam bahasa alami, sespesifik mungkin untuk membantu asisten memahami dengan tepat apa yang Anda butuhkan. Alih-alih meminta “ekstrak data dari S3,” berikan detail lebih lanjut seperti “tulis AWS Glue skrip yang mengekstrak file JSON dari S3.”

• Tinjau skrip yang dihasilkan sebelum menjalankannya untuk memastikan akurasi. Jika skrip yang dihasilkan memiliki kesalahan atau tidak sesuai dengan maksud Anda, berikan instruksi kepada asisten tentang cara memperbaikinya.

• Teknologi AI generatif adalah hal baru dan mungkin ada kesalahan, kadang-kadang disebut halusinasi, dalam tanggapannya. Uji dan tinjau semua kode untuk kesalahan dan kerentanan sebelum menggunakannya di lingkungan atau beban kerja Anda.

Integrasi data Amazon Q dalam peningkatan AWS Glue layanan

Untuk membantu integrasi data Amazon Q dalam AWS Glue memberikan informasi yang paling relevan tentang AWS layanan, kami dapat menggunakan konten tertentu dari Amazon Q, seperti pertanyaan yang Anda ajukan kepada Amazon Q dan tanggapannya, untuk peningkatan layanan.

Untuk informasi tentang konten apa yang kami gunakan dan cara memilih keluar, lihat Peningkatan layanan Pengembang Amazon Q di Panduan Pengguna Pengembang Amazon Q.

Pertimbangan

Pertimbangkan item berikut sebelum Anda menggunakan integrasi data Amazon Q di AWS Glue:

• Saat ini, pembuatan kode hanya berfungsi dengan PySpark kernel. Kode yang dihasilkan adalah untuk AWS Glue pekerjaan berdasarkan Python Spark.

• Untuk informasi tentang kombinasi kemampuan pembuatan kode yang didukung dari integrasi data Amazon Q AWS Glue, lihatKemampuan pembuatan kode yang didukung.