Siapkan data menggunakan Amazon EMR

Amazon SageMaker Studio Classic hadir dengan integrasi built-in Amazon EMR, yang dengannya ilmuwan data dan insinyur data dapat melakukan persiapan data interaktif skala petabyte dan pembelajaran mesin (ML) langsung dari notebook Studio Classic mereka. Dalam notebook, mereka dapat menemukan dan terhubung ke cluster EMR Amazon yang ada, kemudian secara interaktif mengeksplorasi, memvisualisasikan, dan menyiapkan data skala besar untuk pembelajaran mesin menggunakan Apache Spark, Apache Hive, Presto. Selain itu, pengguna dapat mengakses Spark UI dengan satu klik untuk memantau pekerjaan Spark mereka dari notebook Studio Classic mereka.

Administrator dapat menggunakan AWS Service Cataloguntuk menentukan AWS CloudFormation templat kluster EMR Amazon yang dapat diakses oleh pengguna Studio Classic. Ilmuwan data kemudian dapat memilih templat yang telah ditentukan untuk menyediakan sendiri cluster EMR Amazon langsung dari notebook Amazon SageMaker Studio Classic. Administrator dapat membuat parameter template lebih lanjut agar pengguna dapat memilih aspek klaster agar sesuai dengan beban kerja mereka dalam nilai yang telah ditentukan. Misalnya, ilmuwan data atau insinyur data mungkin ingin menentukan jumlah node inti cluster hingga nilai maksimum yang telah ditentukan, atau pilih jenis instance node dari menu tarik-turun.

• Jika Anda seorang administrator, pastikan Anda telah mengaktifkan komunikasi antara notebook Amazon SageMaker Studio Classic dan kluster Amazon EMR. Untuk instruksi, lihat Konfigurasikan jaringan (untuk administrator) bagian. Setelah komunikasi ini diaktifkan, Anda memiliki opsi untuk:

  • Tentukan templat klaster AWS Service Catalog dan pastikan ketersediaan templat ini melalui buku catatan Studio Classic:Konfigurasikan templat EMR Amazon di AWS Service Catalog (untuk administrator).

  • Konfigurasikan kemampuan ditemukan kluster EMR Amazon yang ada langsung dari notebook Studio Classic:. Konfigurasikan kemampuan ditemukan kluster EMR Amazon (untuk administrator)

• Jika Anda seorang ilmuwan data atau insinyur data yang ingin menyediakan sendiri kluster EMR Amazon, lihat. Luncurkan kluster EMR Amazon dari Studio Classic

• Jika Anda seorang ilmuwan data atau insinyur data yang ingin menemukan dan terhubung ke kluster EMR Amazon yang ada dari Studio Classic, lihat. Gunakan kluster EMR Amazon dari notebook Studio Classic

Daftar topik

• Konfigurasikan jaringan (untuk administrator)
• Buat klaster EMR Amazon dari notebook Studio Classic
• Gunakan kluster EMR Amazon dari notebook Studio Classic
• Akses Spark UI dari Studio Classic
• Walkthrough dan whitepaper
• Konfigurasi tambahan untuk kasus penggunaan lintas akun (untuk administrator)
• Pemecahan Masalah