Membuat dan mengelola profil penggunaan - AWS Glue
Membuat profil AWS Glue penggunaanMengedit profil penggunaanMenetapkan profil penggunaanMelihat profil penggunaan yang ditetapkan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat dan mengelola profil penggunaan

Membuat profil AWS Glue penggunaan

Admin harus membuat profil penggunaan dan kemudian menetapkannya ke berbagai pengguna. Saat membuat profil penggunaan, Anda menentukan nilai default serta rentang nilai yang diizinkan untuk berbagai parameter pekerjaan dan sesi. Anda harus mengkonfigurasi setidaknya satu parameter untuk pekerjaan atau sesi interaktif. Anda dapat menyesuaikan nilai default yang akan digunakan saat nilai parameter tidak disediakan untuk pekerjaan tersebut, dan/atau mengatur batas rentang atau sekumpulan nilai yang diizinkan untuk validasi jika pengguna memberikan nilai parameter saat menggunakan profil ini.

Default adalah praktik terbaik yang ditetapkan oleh admin untuk membantu penulis pekerjaan. Saat pengguna membuat pekerjaan baru dan tidak menetapkan nilai batas waktu, batas waktu default profil penggunaan akan berlaku. Jika penulis tidak memiliki profil, maka default AWS Glue layanan akan berlaku dan disimpan dalam definisi pekerjaan. Saat runtime, AWS Glue memberlakukan batas yang ditetapkan dalam profil (min, max, pekerja yang diizinkan).

Setelah parameter dikonfigurasi, semua parameter lainnya adalah opsional. Parameter yang dapat disesuaikan untuk pekerjaan atau sesi interaktif adalah:

  • Jumlah pekerja — membatasi jumlah pekerja untuk menghindari penggunaan sumber daya komputasi yang berlebihan. Anda dapat menetapkan nilai default, minimum, dan maksimum. Minimal adalah 1.

  • Jenis pekerja — batasi jenis pekerja yang relevan untuk beban kerja Anda. Anda dapat mengatur tipe default dan mengizinkan tipe pekerja untuk profil pengguna.

  • Timeout — tentukan waktu maksimum pekerjaan atau sesi interaktif dapat dijalankan dan mengkonsumsi sumber daya sebelum dihentikan. Siapkan nilai batas waktu untuk menghindari pekerjaan yang berjalan lama.

    Anda dapat mengatur nilai default, minimum, dan maksimum dalam hitungan menit. Minimal adalah 1 (menit). Meskipun waktu habis AWS Glue default adalah 2880 menit, Anda dapat mengatur nilai default apa pun di profil penggunaan.

    Ini adalah praktik terbaik untuk menetapkan nilai untuk 'default'. Nilai ini akan digunakan untuk pembuatan pekerjaan atau sesi jika tidak ada nilai yang ditetapkan oleh pengguna.

  • Batas waktu idle - tentukan jumlah menit sesi interaktif tidak aktif sebelum waktu habis setelah sel dijalankan. Tentukan batas waktu idle untuk sesi interaktif yang akan dihentikan setelah pekerjaan selesai. Rentang batas waktu idle harus dalam batas waktu tunggu.

    Anda dapat mengatur nilai default, minimum, dan maksimum dalam hitungan menit. Minimal adalah 1 (menit). Meskipun waktu habis AWS Glue default adalah 2880 menit, Anda dapat mengatur nilai default apa pun di profil penggunaan.

    Ini adalah praktik terbaik untuk menetapkan nilai untuk 'default'. Nilai ini akan digunakan untuk pembuatan sesi jika tidak ada nilai yang ditetapkan oleh pengguna.

Untuk membuat profil AWS Glue penggunaan sebagai admin (konsol)

  1. Di menu navigasi kiri, pilih Manajemen biaya.

  2. Pilih Buat profil penggunaan.

  3. Masukkan nama profil Penggunaan untuk profil penggunaan.

  4. Masukkan deskripsi opsional yang akan membantu orang lain mengenali tujuan profil penggunaan.

  5. Tentukan setidaknya satu parameter di profil. Bidang apa pun dalam formulir adalah parameter. Misalnya, batas waktu siaga sesi minimum.

  6. Tentukan tag opsional apa pun yang berlaku untuk profil penggunaan.

  7. Pilih Simpan.

    Contoh admin yang membuat profil penggunaan di AWS Glue.
Untuk membuat profil penggunaan (AWS CLI)

  1. Masukkan perintah berikut.

    aws glue create-usage-profile --name profile-name --configuration file://config.json --tags list-of-tags

    di mana config.json dapat menentukan nilai parameter untuk sesi interaktif (SessionConfiguration) dan pekerjaan (): JobConfiguration

    //config.json (There is a separate blob for session/job configuration
{
    "SessionConfiguration": {
        "timeout": {
            "DefaultValue": "2880",
            "MinValue": "100",
            "MaxValue": "4000"
        },
        "idleTimeout": {
            "DefaultValue": "30",
            "MinValue": "10",
            "MaxValue": "4000"
        },
        "workerType": {
            "DefaultValue": "G.2X",
            "AllowedValues": [
                "G.2X",
                "G.4X",
                "G.8X"
            ]
        },
        "numberOfWorkers": {
            "DefaultValue": "10",
            "MinValue": "1",
            "MaxValue": "10"
        }
    },
    "JobConfiguration": {
        "timeout": {
            "DefaultValue": "2880",
            "MinValue": "100",
            "MaxValue": "4000"
        },
        "workerType": {
            "DefaultValue": "G.2X",
            "AllowedValues": [
                "G.2X",
                "G.4X",
                "G.8X"
            ]
        },
        "numberOfWorkers": {
            "DefaultValue": "10",
            "MinValue": "1",
            "MaxValue": "10"
        }
    }
}

  2. Masukkan perintah berikut untuk melihat profil penggunaan yang dibuat:

    aws glue get-usage-profile --name profile-name

    Tanggapan:

    {
    "ProfileName": "foo",
    "Configuration": {
        "SessionConfiguration": {
            "numberOfWorkers": {
                "DefaultValue": "10",
                "MinValue": "1",
                "MaxValue": "10"
            },
            "workerType": {
                "DefaultValue": "G.2X",
                "AllowedValues": [
                    "G.2X",
                    "G.4X",
                    "G.8X"
                ]
            },
            "timeout": {
                "DefaultValue": "2880",
                "MinValue": "100",
                "MaxValue": "4000"
            },
            "idleTimeout": {
                "DefaultValue": "30",
                "MinValue": "10",
                "MaxValue": "4000"
            }
        },
        "JobConfiguration": {
            "numberOfWorkers": {
                "DefaultValue": "10",
                "MinValue": "1",
                "MaxValue": "10"
            },
            "workerType": {
                "DefaultValue": "G.2X",
                "AllowedValues": [
                    "G.2X",
                    "G.4X",
                    "G.8X"
                ]
            },
            "timeout": {
                "DefaultValue": "2880",
                "MinValue": "100",
                "MaxValue": "4000"
            }
        }
    },
    "CreatedOn": "2024-01-19T23:15:24.542000+00:00"
}

CLIPerintah tambahan yang digunakan untuk mengelola profil penggunaan:

  • lem aws list-usage-profiles

  • lem aws update-usage-profile --name profile-name --konfigurasi file://config.json

  • lem aws delete-usage-profile --name profile-name

Mengedit profil penggunaan

Admin dapat mengedit profil penggunaan yang telah mereka buat, untuk mengubah nilai parameter profil untuk pekerjaan dan sesi interaktif.

Untuk mengedit profil penggunaan:

Untuk mengedit profil AWS Glue penggunaan sebagai admin (konsol)

  1. Di menu navigasi kiri, pilih Manajemen biaya.

  2. Pilih profil penggunaan yang memiliki izin untuk diedit dan pilih Edit.

  3. Buat perubahan sesuai kebutuhan pada profil. Secara default, parameter yang sudah memiliki nilai diperluas.

  4. Pilih Simpan Pengeditan.

    Contoh pengguna yang mengedit profil penggunaan di AWS Glue.
Untuk mengedit profil penggunaan (AWS CLI)

  • Masukkan perintah berikut. Sintaks --configuration file yang sama digunakan seperti yang ditunjukkan di atas dalam perintah create.

    aws glue update-usage-profile --name profile-name --configuration file://config.json

    di mana config.json mendefinisikan nilai parameter untuk sesi interaktif (SessionConfiguration) dan pekerjaan (): JobConfiguration

Menetapkan profil penggunaan

Kolom Status pemanfaatan di halaman Profil penggunaan menunjukkan apakah profil penggunaan ditetapkan ke pengguna. Mengarahkan kursor ke status menunjukkan entitas yang ditetapkanIAM.

Admin dapat menetapkan profil AWS Glue penggunaan untuk pengguna/peran yang membuat sumber daya. AWS Glue Menetapkan profil adalah kombinasi dari dua tindakan:

  • Memperbarui tag IAM pengguna/peran dengan glue:UsageProfile kunci, lalu

  • Memperbarui IAM kebijakan pengguna/peran.

Bagi pengguna yang menggunakan AWS Glue Studio untuk membuat pekerjaan/sesi interaktif, admin menandai peran berikut:

  • Untuk pembatasan pekerjaan, admin menandai peran konsol yang masuk

  • Untuk pembatasan sesi interaktif, admin menandai peran yang diberikan pengguna saat mereka membuat buku catatan

Berikut ini adalah contoh kebijakan yang perlu diperbarui admin pada IAM pengguna/peran yang membuat AWS Glue sumber daya:

{
    "Effect": "Allow",
    "Action": [
        "glue:GetUsageProfile"
    ],
    "Resource": [
        "arn:aws:glue:us-east-1:123456789012:usageProfile/foo"
    ]
}

AWS Glue memvalidasi permintaan job, job run, dan session berdasarkan nilai yang ditentukan dalam profil AWS Glue penggunaan dan memunculkan pengecualian jika permintaan tersebut tidak diizinkan. Untuk sinkronAPIs, kesalahan akan dilemparkan ke pengguna. Untuk jalur asinkron, menjalankan pekerjaan yang gagal dibuat dengan pesan kesalahan bahwa parameter input berada di luar rentang yang diizinkan untuk profil pengguna/peran yang ditetapkan.

Untuk menetapkan profil penggunaan ke pengguna/peran:

  1. Buka IAM konsol (Identity and Access Management).

  2. Di navigasi kiri, pilih Pengguna atau Peran.

  3. Pilih pengguna atau peran.

  4. Pilih tab Tanda.

  5. Pilih Tambahkan tag baru

  6. Tambahkan tag dengan Kunci glue:UsageProfile dan Nilai nama profil penggunaan Anda.

  7. Pilih Save changes (Simpan perubahan)

    Contoh menambahkan tag ke IAM peran.

Melihat profil penggunaan yang ditetapkan

Pengguna dapat melihat profil penggunaan yang ditetapkan dan menggunakannya saat melakukan API panggilan untuk membuat sumber daya AWS Glue pekerjaan dan sesi, atau memulai pekerjaan.

Izin profil disediakan dalam IAM kebijakan. Selama kebijakan penelepon memiliki glue:UsageProfile izin, pengguna dapat melihat profil. Jika tidak, Anda akan mendapatkan kesalahan akses ditolak.

Untuk melihat profil penggunaan yang ditetapkan:

  1. Di menu navigasi kiri, pilih Manajemen biaya.

  2. Pilih profil penggunaan yang memiliki izin untuk dilihat.

Contoh pengguna yang melihat profil penggunaan yang ditetapkan di AWS Glue.