Memulai Sesi AWS Glue Interaktif

Dalam panduan ini, Anda mempelajari cara memulai sesi AWS Glue interaktif di SageMaker Studio Classic, dan mengelola lingkungan Anda dengan sihir Jupyter.

Izin untuk sesi AWS Glue interaktif di Studio atau Studio Classic

Bagian ini mencantumkan kebijakan yang diperlukan untuk menjalankan sesi AWS Glue interaktif di Studio atau Studio Classic dan menjelaskan cara mengaturnya. Secara khusus, ini merinci cara:

• Lampirkan kebijakan AwsGlueSessionUserRestrictedServiceRole terkelola ke peran SageMaker eksekusi Anda.

• Buat kebijakan kustom inline pada peran SageMaker eksekusi Anda.

• Ubah hubungan kepercayaan dari peran SageMaker eksekusi Anda.

Untuk melampirkan kebijakan AwsGlueSessionUserRestrictedServiceRole terkelola ke peran eksekusi Anda

1. Buka IAMkonsol.

2. Pilih Peran di panel sisi kiri.

3. Temukan peran eksekusi Studio Classic yang digunakan oleh profil pengguna Anda. Untuk informasi tentang cara melihat profil pengguna, lihatMelihat profil pengguna di domain.

4. Pilih nama peran Anda untuk mengakses halaman ringkasan peran.

5. Di bawah tab Izin, pilih Lampirkan kebijakan dari menu tarik-turun Tambahkan Izin.

6. Pilih kotak centang di sebelah kebijakan AwsGlueSessionUserRestrictedServiceRole terkelola.

7. Pilih Lampirkan kebijakan.

   Halaman ringkasan menampilkan kebijakan terkelola yang baru ditambahkan.

Untuk membuat kebijakan kustom inline pada peran eksekusi

1. Pilih Buat kebijakan sebaris di menu tarik-turun Tambahkan Izin.

2. Pilih JSONtab.

3. Salin dan tempel dalam kebijakan berikut.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "unique_statement_id",
   
               "Effect": "Allow",
               "Action": [
   		"iam:GetRole",
                   "iam:PassRole",
                   "sts:GetCallerIdentity"
               ],
               "Resource": "*"
           }
       ]
   }

4. Pilih Tinjau kebijakan.

5. Masukkan Nama dan pilih Buat kebijakan.

   Halaman ringkasan menunjukkan kebijakan kustom Anda yang baru ditambahkan.

Untuk mengubah hubungan kepercayaan dari peran eksekusi Anda

1. Pilih tab Trust relationship.

2. Pilih Edit kebijakan kepercayaan.

3. Salin dan tempel dalam kebijakan berikut.

   {
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Principal": {
               "Service": [
                   "glue.amazonaws.com",
                   "sagemaker.amazonaws.com"
               ]
           },
           "Action": "sts:AssumeRole"
       }
   ]
   }

4. Pilih Perbarui kebijakan.

Anda dapat menambahkan peran dan kebijakan tambahan jika Anda perlu mengakses AWS sumber daya lain. Untuk deskripsi peran dan kebijakan tambahan yang dapat Anda sertakan, lihat sesi interaktif IAM di AWS Glue dokumentasi.

Perbanyakan tag

Tag biasanya digunakan untuk melacak dan mengalokasikan biaya, mengontrol akses ke sesi Anda, mengisolasi sumber daya Anda, dan banyak lagi. Untuk mempelajari tentang menambahkan metadata ke AWS sumber daya Anda menggunakan penandaan, atau untuk detail tentang kasus penggunaan umum, lihat. Informasi tambahan

Anda dapat mengaktifkan propagasi otomatis AWS tag ke sesi AWS Glue interaktif baru yang dibuat dari dalam UI Studio atau Studio Classic. Ketika sesi AWS Glue interaktif dibuat dari Studio atau Studio Classic, setiap tag yang ditentukan pengguna yang dilampirkan ke profil pengguna atau ruang bersama dibawa ke sesi AWS Glue interaktif baru. Selain itu, Studio dan Studio Classic secara otomatis menambahkan dua tag internal yang AWS dihasilkan ((sagemaker:user-profile-arndansagemaker:domain-arn) atau (sagemaker:shared-space-arndansagemaker:domain-arn)) ke sesi AWS Glue interaktif baru yang dibuat dari UI mereka. Anda dapat menggunakan tag ini untuk mengumpulkan biaya di seluruh domain individu, profil pengguna, atau spasi.

Aktifkan propagasi tag

Untuk mengaktifkan propagasi otomatis tag ke sesi AWS Glue interaktif baru, tetapkan izin berikut untuk peran SageMaker eksekusi Anda dan peran yang IAM terkait dengan sesi Anda AWS Glue :

catatan

Secara default, peran yang terkait dengan sesi AWS Glue interaktif sama dengan peran SageMaker eksekusi. Anda dapat menentukan peran eksekusi yang berbeda untuk sesi AWS Glue interaktif dengan menggunakan perintah %iam_role ajaib. Untuk informasi tentang perintah ajaib Jupyter yang tersedia untuk mengonfigurasi sesi AWS Glue interaktif, lihat. Konfigurasikan sesi AWS Glue interaktif Anda di Studio atau Studio Classic

• Pada peran SageMaker eksekusi Anda: Buat kebijakan inline baru, dan tempel JSON file berikut. Kebijakan memberikan izin peran eksekusi untuk mendeskripsikan (DescribeUserProfile,DescribeSpace,DescribeDomain) dan mencantumkan tag (ListTag) yang ditetapkan pada profil pengguna, spasi bersama, dan SageMaker domain.

  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:ListTags"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:user-profile/*",
          "arn:aws:sagemaker:*:*:space/*"
      ]
  },
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeUserProfile"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:user-profile/*"
      ]
  },
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeSpace"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:space/*"
      ]
  }
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeDomain"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:domain/*"
      ]
  }

• Tentang IAM peran AWS Glue sesi Anda: Buat kebijakan inline baru, dan tempel JSON file berikut. Kebijakan memberikan izin peran Anda untuk melampirkan tag (TagResource) ke sesi Anda, atau mengambil daftar tag ()GetTags.

  {
      "Effect": "Allow",
      "Action": [
          "glue:TagResource",
          "glue:GetTags"
      ],
      "Resource": [
          "arn:aws:glue:*:*:session/*"
      ]
  }

catatan

• Kegagalan yang terjadi saat menerapkan izin tersebut tidak mencegah pembuatan sesi AWS Glue interaktif. Anda dapat menemukan detail tentang alasan kegagalan di CloudWatchlog Studio atau Studio Classic.

• Anda harus memulai ulang kernel sesi AWS Glue interaktif Anda untuk menyebarkan pembaruan nilai tag.

Penting untuk mencatat poin-poin berikut:

• Setelah tag dilampirkan ke sesi, tag tidak dapat dihapus dengan propagasi.

  Anda dapat menghapus tag dari sesi AWS Glue interaktif langsung melalui AWS Glue API,, atau https://console.aws.amazon.com/sagemaker/. AWS CLI Misalnya, dengan menggunakan AWS CLI, Anda dapat menghapus tag dengan memberikan sesi ARN dan kunci tag yang ingin Anda hapus sebagai berikut:

  aws glue untag-resource \
  --resource-arn arn:aws:glue:region:account-id:session:session-name \
  --tags-to-remove tag-key1,tag-key2

• Studio dan Studio Classic menambahkan dua tag internal AWS yang dihasilkan ((sagemaker:user-profile-arndansagemaker:domain-arn) atau (sagemaker:shared-space-arndansagemaker:domain-arn)) ke sesi AWS Glue interaktif baru yang dibuat dari UI mereka. Tag tersebut dihitung terhadap batas 50 tag yang ditetapkan pada semua AWS sumber daya. Keduanya sagemaker:user-profile-arn dan sagemaker:shared-space-arn berisi ID domain tempat mereka berada.

• Tombol tag dimulai dengan aws:AWS:,, atau kombinasi huruf besar dan kecil sebagai awalan untuk kunci tidak disebarkan dan dicadangkan untuk digunakan. AWS

Informasi tambahan

Untuk informasi lebih lanjut tentang penandaan, lihat sumber daya berikut.

• Untuk mempelajari cara menambahkan metadata ke AWS sumber daya Anda dengan penandaan, lihat Menandai sumber daya. AWS

• Untuk informasi tentang melacak biaya menggunakan tag, lihat Analisis biaya dalam praktik terbaik administrasi Studio.

• Untuk informasi tentang mengontrol akses AWS Glue berdasarkan kunci tag, lihat ABACdengan AWS Glue.

Luncurkan sesi AWS Glue interaktif Anda di Studio atau Studio Classic

Setelah membuat peran, kebijakan, dan SageMaker domain, Anda dapat meluncurkan sesi AWS Glue interaktif di Studio atau Studio Classic.

1. Masuk ke SageMaker konsol di https://console.aws.amazon.com/sagemaker/.

2. Dari panel navigasi kiri, pilih Studio.

3. Dari halaman landing Studio, pilih domain dan profil pengguna untuk meluncurkan Studio.

4. Pilih Open Studio dan mulai aplikasi JupyterLab atau Studio Classic.

5. Di tampilan Jupyter, pilih File, lalu New, lalu Notebook.

6. Untuk pengguna Studio Classic: Di menu tarik-turun Gambar, pilih SparkAnalytics 1.0 atau SparkAnalytics 2.0. Di menu dropdown kernel, pilih Glue Spark atau Glue Python [dan Ray]. PySpark Pilih Pilih.

   Untuk pengguna Studio, pilih kernel Glue Spark atau Glue Python PySpark [dan Ray]

7. (opsional) Gunakan sihir Jupyter untuk menyesuaikan lingkungan Anda. Untuk informasi lebih lanjut tentang sihir Jupyter, lihat. Konfigurasikan sesi AWS Glue interaktif Anda di Studio atau Studio Classic

8. Mulai menulis skrip pemrosesan data Spark Anda. Notebook berikut menampilkan end-to-end alur kerja untuk ETL kumpulan data besar menggunakan sesi AWS Glue interaktif, analisis data eksplorasi, pra-pemrosesan data, dan akhirnya melatih model tentang data yang diproses dengan. SageMaker

Konfigurasikan sesi AWS Glue interaktif Anda di Studio atau Studio Classic

catatan

Semua konfigurasi ajaib dibawa ke sesi berikutnya selama masa pakai AWS Glue kernel.

Anda dapat menggunakan sihir Jupyter dalam sesi AWS Glue interaktif Anda untuk memodifikasi parameter sesi dan konfigurasi Anda. Sihir adalah perintah pendek yang diawali dengan % di awal sel Jupyter yang menyediakan cara cepat dan mudah untuk membantu Anda mengontrol lingkungan Anda. Dalam sesi AWS Glue interaktif Anda, sihir berikut diatur untuk Anda secara default:

Sihir	Nilai default
%glue_version	3.0
%iam_role	execution role attached to your SageMaker domain
%region	wilayah Anda

Anda dapat menggunakan sihir untuk lebih menyesuaikan lingkungan Anda. Misalnya, jika Anda ingin mengubah jumlah pekerja yang dialokasikan ke pekerjaan Anda dari default lima menjadi 10, Anda dapat menentukan%number_of_workers 10. Jika Anda ingin mengonfigurasi sesi Anda untuk berhenti setelah 10 menit waktu idle, bukan 2880 default, Anda dapat menentukan. %idle_timeout 10

Semua sihir Jupyter yang saat ini tersedia juga AWS Glue tersedia di Studio atau Studio Classic. Untuk daftar lengkap AWS Glue sihir yang tersedia, lihat Mengonfigurasi sesi AWS Glue interaktif untuk notebook Jupyter dan Studio. AWS Glue