Memulai Sesi AWS Glue Interaktif

Dalam panduan ini, Anda mempelajari cara memulai sesi AWS Glue interaktif di SageMaker Studio Classic, dan mengelola lingkungan Anda dengan sihir Jupyter.

Izin untuk Sesi AWS Glue Interaktif di SageMaker Studio Classic

Bagian ini mencantumkan kebijakan yang diperlukan untuk menjalankan sesi AWS Glue interaktif di Studio Classic dan menjelaskan cara mengaturnya. Secara khusus, ini merinci cara:

• Lampirkan kebijakan AwsGlueSessionUserRestrictedServiceRole terkelola ke peran SageMaker eksekusi Anda.

• Buat kebijakan kustom inline pada peran SageMaker eksekusi Anda.

• Ubah hubungan kepercayaan dari peran SageMaker eksekusi Anda.

Untuk melampirkan kebijakan AwsGlueSessionUserRestrictedServiceRole terkelola ke peran eksekusi Anda

1. Buka konsol IAM.

2. Pilih Peran di panel sisi kiri.

3. Temukan peran eksekusi Studio Classic Anda. Pilih nama peran untuk mengakses halaman ringkasan peran.

4. Di bawah tab Izin, pilih Lampirkan kebijakan dari menu tarik-turun Tambahkan Izin.

5. Pilih kotak centang di samping kebijakan AwsGlueSessionUserRestrictedServiceRole terkelola.

6. Pilih Lampirkan kebijakan.

   Halaman ringkasan menampilkan kebijakan terkelola yang baru ditambahkan.

Untuk membuat kebijakan kustom inline pada peran eksekusi Anda

1. Pilih Buat kebijakan sebaris di menu tarik-turun Tambahkan Izin.

2. Pilih tab JSON.

3. Salin dan tempel dalam kebijakan berikut.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "unique_statement_id",
   
               "Effect": "Allow",
               "Action": [
   		"iam:GetRole",
                   "iam:PassRole",
                   "sts:GetCallerIdentity"
               ],
               "Resource": "*"
           }
       ]
   }

4. Pilih Tinjau kebijakan.

5. Masukkan Nama dan pilih Buat kebijakan.

   Halaman ringkasan menunjukkan kebijakan kustom Anda yang baru ditambahkan.

Untuk mengubah hubungan kepercayaan dari peran eksekusi Anda

1. Pilih tab Hubungan kepercayaan.

2. Pilih Edit kebijakan kepercayaan.

3. Salin dan tempel dalam kebijakan berikut.

   {
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Principal": {
               "Service": [
                   "glue.amazonaws.com",
                   "sagemaker.amazonaws.com"
               ]
           },
           "Action": "sts:AssumeRole"
       }
   ]
   }

4. Pilih Perbarui kebijakan.

Anda dapat menambahkan peran dan kebijakan tambahan jika Anda perlu mengakses AWS sumber daya lain. Untuk deskripsi peran dan kebijakan tambahan yang dapat Anda sertakan, lihat Sesi interaktif dengan IAM dalam AWS Glue dokumentasi.

Memeriksa metadata

Tag biasanya digunakan untuk melacak dan mengalokasikan biaya, mengontrol akses ke sesi Anda, mengisolasi sumber daya Anda, dan banyak lagi. Untuk mempelajari tentang menambahkan metadata ke AWS sumber daya Anda menggunakan penandaan, atau untuk detail tentang kasus penggunaan umum, lihat. Informasi tambahan

Anda dapat mengaktifkan propagasi otomatis AWS tag ke sesi AWS Glue interaktif baru yang dibuat dari dalam UI Studio Classic. Ketika sesi AWS Glue interaktif dibuat dari SageMaker Studio Classic, setiap tag yang ditentukan pengguna yang dilampirkan ke profil pengguna atau ruang bersama dibawa ke sesi AWS Glue interaktif baru. Selain itu, SageMaker Studio Classic secara otomatis menambahkan dua tag internal yang AWS dihasilkan ((sagemaker:user-profile-arndansagemaker:domain-arn) atau (sagemaker:shared-space-arndansagemaker:domain-arn)) ke sesi AWS Glue interaktif baru yang dibuat dari UI Studio Classic. Anda dapat menggunakan tag ini untuk mengumpulkan biaya di setiap Domain, profil pengguna, atau spasi.

Aktifkan propagasi tanda

Untuk mengaktifkan propagasi otomatis tag ke sesi AWS Glue interaktif baru, tetapkan izin berikut untuk peran SageMaker eksekusi Anda dan peran IAM yang terkait dengan sesi Anda: AWS Glue

catatan

Secara default, peran yang terkait dengan sesi AWS Glue interaktif sama dengan peran SageMaker eksekusi. Anda dapat menentukan peran eksekusi yang berbeda untuk sesi AWS Glue interaktif dengan menggunakan perintah %iam_role ajaib. Untuk informasi tentang perintah ajaib Jupyter yang tersedia untuk mengonfigurasi sesi AWS Glue interaktif, lihat. Konfigurasikan sesi AWS Glue interaktif Anda di SageMaker Studio Classic

• Pada peran SageMaker eksekusi Anda: Buat kebijakan inline baru, dan tempel file JSON berikut. Kebijakan memberikan izin peran eksekusi untuk mendeskripsikan (DescribeUserProfile,DescribeSpace,DescribeDomain) dan mencantumkan tag (ListTag) yang ditetapkan pada profil pengguna, spasi bersama, dan SageMaker Domain.

  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:ListTags"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:user-profile/*",
          "arn:aws:sagemaker:*:*:space/*"
      ]
  },
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeUserProfile"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:user-profile/*"
      ]
  },
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeSpace"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:space/*"
      ]
  }
  {
      "Effect": "Allow",
      "Action": [
          "sagemaker:DescribeDomain"
      ],
      "Resource": [
          "arn:aws:sagemaker:*:*:domain/*"
      ]
  }

• Pada peran IAM AWS Glue sesi Anda: Buat kebijakan inline baru, dan tempel file JSON berikut. Kebijakan memberikan izin peran Anda untuk melampirkan tag (TagResource) ke sesi Anda, atau mengambil daftar tag ()GetTags.

  {
      "Effect": "Allow",
      "Action": [
          "glue:TagResource",
          "glue:GetTags"
      ],
      "Resource": [
          "arn:aws:glue:*:*:session/*"
      ]
  }

catatan

• Kegagalan yang terjadi saat menerapkan izin tersebut tidak mencegah pembuatan sesi AWS Glue interaktif. Anda dapat menemukan detail tentang alasan kegagalan di CloudWatchlog SageMaker Studio Classic.

• Anda harus memulai ulang kernel sesi AWS Glue interaktif Anda untuk menyebarkan pembaruan nilai tag.

Penting untuk dicatat poin-poin berikut:

• Setelah tag dilampirkan ke sesi, tag tidak dapat dihapus dengan propagasi.

  Anda dapat menghapus tag dari sesi AWS Glue interaktif langsung melaluiAWS CLI, AWS Glue API, atau https://console.aws.amazon.com/sagemaker/. Misalnya, dengan menggunakanAWS CLI, Anda dapat menghapus tag dengan memberikan ARN sesi dan kunci tag yang ingin Anda hapus sebagai berikut:

  aws glue untag-resource \
  --resource-arn arn:aws:glue:region:account-id:session:session-name \
  --tags-to-remove tag-key1,tag-key2

• SageMaker Studio Classic menambahkan dua tag internal AWS yang dihasilkan ((sagemaker:user-profile-arndansagemaker:domain-arn) atau (sagemaker:shared-space-arndansagemaker:domain-arn)) ke sesi AWS Glue interaktif baru yang dibuat dari UI Studio Classic. Tag tersebut dihitung terhadap batas 50 tag yang ditetapkan pada semua AWS sumber daya. Keduanya sagemaker:user-profile-arn dan sagemaker:shared-space-arn berisi ID Domain tempat mereka berada.

• Tombol tag dimulai dengan aws:AWS:,, atau kombinasi huruf besar dan kecil sebagai awalan untuk kunci tidak disebarkan dan dicadangkan untuk digunakan. AWS

Informasi tambahan

Untuk informasi selengkapnya tentang penandaan, lihat sumber daya berikut.

• Untuk mempelajari cara menambahkan metadata ke AWS sumber daya Anda dengan penandaan, lihat Menandai sumber daya. AWS

• Untuk informasi tentang melacak biaya menggunakan tag, lihat Analisis biaya di Praktik Terbaik Administrasi SageMaker Studio Classic.

• Untuk informasi tentang mengontrol akses AWS Glue berdasarkan kunci tag, lihat ABAC dengan AWS Glue.

Luncurkan sesi AWS Glue interaktif Anda di SageMaker Studio Classic

Setelah membuat peran, kebijakan, dan SageMaker Domain, Anda dapat meluncurkan sesi AWS Glue interaktif di SageMaker Studio Classic.

Untuk diluncurkan AWS Glue di SageMaker Studio Classic

1. Buat SageMaker Domain. Untuk petunjuk tentang cara membuat Domain baru, lihatIkhtisar SageMaker Domain Amazon.

2. Masuk ke SageMaker konsol di https://console.aws.amazon.com/sagemaker/.

3. Pilih Control Panel di panel sisi kiri.

4. Di menu tarik-turun Luncurkan Aplikasi di sebelah nama pengguna, pilih Studio.

5. Di tampilan Jupyter, pilih File, lalu New, lalu Notebook.

6. Di menu dropdown Gambar, pilih SparkAnalytics 1.0 atau SparkAnalytics 2.0. Di menu dropdown kernel, pilih Glue Spark atau Glue Python [dan Ray]. PySpark Pilih Pilih.

7. (opsional) Gunakan sihir Jupyter untuk menyesuaikan lingkungan Anda. Untuk informasi selengkapnya tentang sihir Jupyter, lihat. Konfigurasikan sesi AWS Glue interaktif Anda di SageMaker Studio Classic

8. Mulai menulis skrip pemrosesan data Spark Anda.

Konfigurasikan sesi AWS Glue interaktif Anda di SageMaker Studio Classic

catatan

Semua konfigurasi ajaib dibawa ke sesi berikutnya selama masa pakai AWS Glue kernel.

Anda dapat menggunakan sihir Jupyter dalam sesi AWS Glue interaktif Anda untuk memodifikasi parameter sesi dan konfigurasi Anda. Sihir adalah perintah pendek yang diawali dengan % di awal sel Jupyter yang menyediakan cara cepat dan mudah untuk membantu Anda mengontrol lingkungan Anda. Dalam sesi AWS Glue interaktif Anda, sihir berikut diatur untuk Anda secara default:

Sihir	Nilai default
%glue_version	Fitur SQL baru
%iam_role	peran eksekusi yang melekat pada SageMaker Domain Anda
%region	Fungsi SQL baru

Anda dapat menggunakan sihir untuk lebih menyesuaikan lingkungan Anda. Misalnya, jika Anda ingin mengubah jumlah pekerja yang dialokasikan ke pekerjaan Anda dari default lima menjadi 10, Anda dapat menentukan%number_of_workers 10. Jika Anda ingin mengonfigurasi sesi Anda untuk berhenti setelah 10 menit waktu idle, bukan 2880 default, Anda dapat menentukan. %idle_timeout 10

Semua sihir Jupyter yang saat ini tersedia juga AWS Glue tersedia di SageMaker Studio Classic. Untuk daftar lengkap AWS Glue sihir yang tersedia, lihat Mengonfigurasi sesi AWS Glue interaktif untuk notebook Jupyter dan AWS Glue Studio Classic.