JupyterHub konfigurasi dan administrasi - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

JupyterHub konfigurasi dan administrasi

JupyterHub dan komponen terkait berjalan di dalam wadah Docker bernama jupyterhub yang menjalankan sistem operasi Ubuntu. Ada beberapa cara bagi Anda untuk mengelola komponen yang berjalan di dalam kontainer.

Awas

Kustomisasi yang Anda lakukan dalam kontainer mungkin tidak bertahan jika kontainer dimulai ulang. Kami sarankan Anda untuk menulis atau mengotomatisasi konfigurasi kontainer sehingga Anda dapat mereproduksi kustomisasi lebih mudah.

Administrasi menggunakan baris perintah

Ketika terhubung ke master utama menggunakan SSH, Anda dapat mengeluarkan perintah dengan menggunakan antarmuka baris perintah Docker (CLI) dan menentukan kontainer dengan nama (jupyterhub) atau ID. Misalnya, sudo docker exec jupyterhub command menjalankan perintah yang diakui oleh sistem operasi atau aplikasi yang berjalan di dalam kontainer. Anda dapat menggunakan metode ini untuk menambahkan pengguna ke sistem operasi dan menginstal aplikasi tambahan dan perpustakaan dalam kontainer Docker. Misalnya, gambar kontainer default termasuk Conda untuk instalasi paket, sehingga Anda mungkin menjalankan perintah berikut pada baris perintah simpul utama untuk menginstal aplikasi, Keras, dalam kontainer:

sudo docker exec jupyterhub conda install keras

Administrasi dengan mengirimkan langkah-langkah

Langkah-langkah adalah cara untuk mengirimkan pekerjaan ke klaster. Anda dapat mengirimkan langkah-langkah ketika Anda meluncurkan sebuah klaster, atau Anda dapat mengirimkan langkah-langkah untuk menjalankan klaster. Perintah yang Anda jalankan pada baris perintah dapat dikirimkan sebagai langkah menggunakan command-runner.jar. Untuk informasi lebih lanjut, lihat Bekerja dengan langkah-langkah menggunakan CLI dan konsol dalam Panduan Pengelolaan Amazon EMR dan Menjalankan perintah dan skrip di klaster Amazon EMR.

Misalnya, Anda dapat menggunakan AWS CLI perintah berikut ini pada komputer lokal untuk menginstal Keras dengan cara yang sama yang Anda lakukan dari baris perintah master utama dalam contoh sebelumnya:

aws emr add-steps --cluster-id MyClusterID --steps Name="Command Runner",Jar="command-runner.jar",Args="/usr/bin/sudo","/usr/bin/docker","exec","jupyterhub","conda","install","keras"

Juga, Anda dapat menuliskan urutan langkah-langkah, mengunggah skrip ke Amazon S3, dan kemudian menggunakan script-runner.jar untuk menjalankan skrip saat Anda membuat klaster atau menambahkan skrip sebagai langkah. Untuk informasi selengkapnya, lihat Menjalankan perintah dan skrip di klaster Amazon EMR. Sebagai contoh, lihat Contoh: Skrip Bash untuk menambahkan beberapa pengguna.

Administrasi menggunakan REST API

Jupyter, JupyterHub, dan proxy HTTP untuk JupyterHub menyediakan REST API yang dapat Anda gunakan untuk mengirim permintaan. Untuk mengirim permintaan JupyterHub, Anda harus meneruskan token API dengan permintaan tersebut. Anda dapat menggunakan curl perintah dari baris perintah simpul utama untuk menjalankan perintah REST. Untuk informasi selengkapnya, silakan lihat sumber daya berikut:

Contoh berikut menunjukkan menggunakan REST API JupyterHub untuk mendapatkan daftar pengguna. Perintah meneruskan token admin yang dibuat sebelumnya dan menggunakan port default, 9443, untuk JupyterHub, menyalurkan output ke jq agar lebih mudah dilihat:

curl -XGET -s -k https://$HOST:9443/hub/api/users \ -H "Authorization: token $admin_token" | jq .