Pantau, perbarui, dan hapus sumber daya Amazon EMR Studio

Bagian ini mencakup petunjuk untuk membantu Anda memantau, memperbarui, atau menghapus sumber daya EMR Studio. Untuk informasi tentang menetapkan pengguna atau memperbarui izin pengguna, lihat. Menetapkan dan mengelola pengguna EMR Studio

Melihat detail Studio

Console

Untuk melihat detail tentang EMR Studio dengan konsol baru

1. Buka konsol EMR Amazon di https://console.aws.amazon.com /emr.

2. Di bawah EMR Studio di navigasi kiri, pilih Studios.

3. Pilih Studio dari daftar Studios untuk membuka halaman detail Studio. Halaman detail Studio mencakup informasi Pengaturan Studio, seperti Deskripsi, VPC, dan Subnet Studio.

CLI

Untuk mengambil detail untuk EMR Studio by Studio ID menggunakan AWS CLI

Gunakan describe-studio AWS CLI perintah berikut untuk mengambil informasi rinci tentang EMR Studio tertentu. Untuk informasi selengkapnya, lihat Referensi Perintah AWS CLI .

aws emr describe-studio \
 --studio-id <id-of-studio-to-describe> \

Untuk mengambil daftar EMR Studios menggunakan AWS CLI

Gunakan perintah berikut list-studios AWS CLI . Untuk informasi selengkapnya, lihat Referensi Perintah AWS CLI .

aws emr list-studios

Berikut ini adalah contoh nilai yang dikembalikan untuk perintah list-studios dalam format JSON.

{
    "Studios": [
        {
            "AuthMode": "IAM",
            "VpcId": "vpc-b21XXXXX", 
            "Name": "example-studio-name", 
            "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", 
            "CreationTime": 1605672582.781, 
            "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", 
            "Description": "example studio description"
        }
    ]
}

Memantau tindakan Amazon EMR Studio

Lihat aktivitas EMR Studio dan API

EMR Studio terintegrasi dengan AWS CloudTrail, layanan yang menyediakan catatan tindakan yang diambil oleh pengguna, oleh peran IAM, atau oleh layanan lain AWS di EMR Studio. CloudTrail menangkap panggilan API untuk EMR Studio sebagai acara. Anda dapat melihat acara menggunakan CloudTrail konsol di https://console.aws.amazon.com/cloudtrail/.

Peristiwa EMR Studio memberikan informasi seperti Studio atau pengguna IAM mana yang membuat permintaan, dan apa jenis permintaannya.

catatan

Tindakan di klaster seperti menjalankan pekerjaan notebook tidak dipancarkan AWS CloudTrail.

Anda juga dapat membuat jejak untuk pengiriman CloudTrail acara EMR Studio secara berkelanjutan ke bucket Amazon S3. Untuk informasi selengkapnya, lihat Panduan Pengguna AWS CloudTrail.

Contoh CloudTrail Event: pengguna Memanggil DescribeStudio API

Berikut ini adalah contoh AWS CloudTrail peristiwa yang dibuat ketika pengguna,admin, memanggil DescribeStudioAPI. CloudTrail mencatat nama pengguna sebagaiadmin.

catatan

Untuk melindungi detail Studio, acara EMR Studio API untuk DescribeStudio mengecualikan nilai untuk. responseElements

{
   "eventVersion":"1.08",
   "userIdentity":{
      "type":"IAMUser",
      "principalId":"AIDXXXXXXXXXXXXXXXXXX",
      "arn":"arn:aws:iam::653XXXXXXXXX:user/admin",
      "accountId":"653XXXXXXXXX",
      "accessKeyId":"AKIAIOSFODNN7EXAMPLE",
      "userName":"admin"
   },
   "eventTime":"2021-01-07T19:13:58Z",
   "eventSource":"elasticmapreduce.amazonaws.com",
   "eventName":"DescribeStudio",
   "awsRegion":"us-east-1",
   "sourceIPAddress":"72.XX.XXX.XX",
   "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28",
   "requestParameters":{
      "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX"
   },
   "responseElements":null,
   "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
   "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
   "readOnly":true,
   "eventType":"AwsApiCall",
   "managementEvent":true,
   "eventCategory":"Management",
   "recipientAccountId":"653XXXXXXXXX"
}

Melihat aktivitas pengguna dan pekerjaan Spark

Untuk melihat aktivitas pekerjaan Spark oleh pengguna Amazon EMR Studio, Anda dapat mengonfigurasi peniruan pengguna pada klaster. Dengan peniruan pengguna, setiap pekerjaan Spark yang dikirimkan dari Workspace dikaitkan dengan pengguna Studio yang menjalankan kode.

Saat peniruan identitas pengguna diaktifkan, Amazon EMR membuat direktori pengguna HDFS di node utama klaster untuk setiap pengguna yang menjalankan kode di Workspace. Misalnya, jika pengguna [e-mail] menjalankan kode, Anda dapat terhubung ke node utama dan melihat bahwa hadoop fs -ls /user memiliki direktori [e-mail].

Untuk menyiapkan peniruan pengguna Spark, atur properti berikut dalam klasifikasi konfigurasi berikut:

• core-site

• livy-conf

[
    {
        "Classification": "core-site",
        "Properties": {
          "hadoop.proxyuser.livy.groups": "*",
          "hadoop.proxyuser.livy.hosts": "*"
        }
    },
    {
        "Classification": "livy-conf",
        "Properties": {
          "livy.impersonation.enabled": "true"
        }
    }
]

Untuk melihat halaman server riwayat, lihat Debug aplikasi dan pekerjaan dengan EMR Studio. Anda juga dapat terhubung ke node utama cluster menggunakan SSH untuk melihat antarmuka web aplikasi. Untuk informasi selengkapnya, lihat Melihat antarmuka web yang di-host pada klaster Amazon EMR.

Memperbarui Amazon EMR Studio

Setelah membuat EMR Studio, Anda dapat memperbarui atribut berikut menggunakan AWS CLI:

• Nama

• Deskripsi

• Lokasi S3 default

• Subnet

Untuk memperbarui Studio EMR menggunakan AWS CLI

Gunakan update-studio AWS CLI perintah untuk memperbarui EMR Studio. Untuk informasi selengkapnya, lihat Referensi Perintah AWS AWS CLI .

catatan

Anda dapat mengaitkan Studio dengan maksimal 5 subnet. Subnet ini harus milik VPC yang sama dengan Studio. Daftar subnet IDs yang Anda kirimkan ke update-studio perintah dapat menyertakan subnet baru IDs, tetapi juga harus menyertakan semua subnet IDs yang sudah Anda kaitkan dengan Studio. Anda tidak dapat menghapus subnet dari Studio.

aws emr update-studio \
 --studio-id <example-studio-id-to-update> \
 --name <example-new-studio-name> \
 --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Untuk memverifikasi perubahan, gunakan describe-studio AWS CLI perintah dan tentukan ID Studio Anda. Untuk informasi selengkapnya, lihat Referensi Perintah AWS CLI .

aws emr describe-studio \
 --studio-id <id-of-updated-studio> \

Menghapus Amazon EMR Studio dan Ruang Kerja

Saat Anda menghapus Studio, EMR Studio menghapus semua penugasan pengguna dan grup Pusat Identitas IAM yang terkait dengan Studio.

catatan

Saat Anda menghapus Studio, Amazon EMR tidak menghapus Ruang Kerja yang terkait dengan Studio tersebut. Anda harus menghapus Workspaces di Studio Anda secara terpisah.

Hapus Ruang Kerja

Console

Karena setiap EMR Studio Workspace adalah instance notebook EMR, Anda dapat menggunakan konsol manajemen EMR Amazon untuk menghapus Workspaces. Anda dapat menghapus Workspaces menggunakan konsol Amazon EMR sebelum atau setelah menghapus Studio

Untuk menghapus Workspace menggunakan konsol Amazon EMR

1. Arahkan ke konsol EMR Amazon baru dan pilih Beralih ke konsol lama dari navigasi samping. Untuk informasi selengkapnya tentang apa yang diharapkan saat beralih ke konsol lama, lihat Menggunakan konsol lama.

2. Pilih Notebook.

3. Pilih Workspace yang ingin Anda hapus.

4. Pilih Hapus, lalu pilih Hapus lagi untuk mengonfirmasi.

5. Ikuti petunjuk untuk Menghapus objek di Panduan Pengguna Amazon Simple Storage Service Console untuk menghapus file notebook yang terkait dengan Workspace yang dihapus dari Amazon S3.

EMR Studio UI

From the Workspace UIFrom the Workspaces list

From the Workspace UI

Menghapus Workspace dan file cadangan terkait dari EMR Studio

1. Login ke EMR Studio dengan URL akses Studio dan pilih Worksapcedari navigasi kiri.

2. Temukan Workspace Anda dalam daftar, lalu pilih kotak centang di samping namanya. Anda dapat memilih beberapa Workspace untuk dihapus pada saat yang sama.

3. Pilih Hapus di kanan atas daftar Workspace dan konfirmasi bahwa Anda ingin menghapus Workspace yang dipilih. Pilih Hapus untuk mengonfirmasi.

4. Jika Anda ingin menghapus file notebook yang dikaitkan dengan Workspace yang dihapus dari Amazon S3, ikuti petunjuk untuk Menghapus objek di Panduan Pengguna Amazon Simple Storage Service Console. Jika Anda tidak membuat Studio, konsultasikan administrator Studio Anda untuk menentukan lokasi cadangan Amazon S3 untuk Workspace yang dihapus.

From the Workspaces list

Menghapus Workspace dan file cadangan terkait dari daftar Workspaces

1. Arahkan ke daftar Workspace di konsol.

2. Pilih Workspace yang ingin Anda hapus dari daftar dan kemudian pilih Tindakan.

3. Pilih Hapus.

4. Jika Anda ingin menghapus file notebook yang dikaitkan dengan Workspace yang dihapus dari Amazon S3, ikuti petunjuk untuk Menghapus objek di Panduan Pengguna Amazon Simple Storage Service Console. Jika Anda tidak membuat Studio, konsultasikan administrator Studio Anda untuk menentukan lokasi cadangan Amazon S3 untuk Workspace yang dihapus.

Menghapus EMR Studio

Console

Untuk menghapus EMR Studio dengan konsol baru

1. Buka konsol EMR Amazon di https://console.aws.amazon.com /emr.

2. Di bawah EMR Studio di navigasi kiri, pilih Studios.

3. Pilih Studio dari daftar Studios dengan sakelar di sebelah kiri nama Studio. Pilih Hapus.

Old console

Untuk menghapus EMR Studio dengan konsol lama

1. Buka konsol EMR Amazon di https://console.aws.amazon.com/elasticmapreduce/ rumah.

2. Pilih EMR Studio dari navigasi kiri.

3. Pilih Studio dari daftar Studios dan pilih Hapus.

CLI

Untuk menghapus EMR Studio dengan AWS CLI

Gunakan delete-studio AWS CLI perintah untuk menghapus EMR Studio. Untuk informasi selengkapnya, lihat Referensi Perintah AWS AWS CLI .

aws emr delete-studio --studio-id <id-of-studio-to-delete>