JupyterHub konfigurasi dan administrasi - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

JupyterHub konfigurasi dan administrasi

JupyterHub dan komponen terkait berjalan di dalam wadah Docker bernama jupyterhub yang menjalankan sistem operasi Ubuntu. Ada beberapa cara bagi Anda untuk mengelola komponen yang berjalan di dalam kontainer.

Awas

Kustomisasi yang Anda lakukan dalam kontainer mungkin tidak bertahan jika kontainer dimulai ulang. Kami sarankan Anda untuk menulis atau mengotomatisasi konfigurasi kontainer sehingga Anda dapat mereproduksi kustomisasi lebih mudah.

Administrasi menggunakan baris perintah

Saat terhubung ke node master menggunakanSSH, Anda dapat mengeluarkan perintah dengan menggunakan antarmuka baris perintah Docker (CLI) dan menentukan wadah dengan nama (jupyterhub) atau ID. Misalnya, sudo docker exec jupyterhub command menjalankan perintah yang diakui oleh sistem operasi atau aplikasi yang berjalan di dalam kontainer. Anda dapat menggunakan metode ini untuk menambahkan pengguna ke sistem operasi dan menginstal aplikasi tambahan dan perpustakaan dalam kontainer Docker. Misalnya, gambar kontainer default termasuk Conda untuk instalasi paket, sehingga Anda mungkin menjalankan perintah berikut pada baris perintah simpul utama untuk menginstal aplikasi, Keras, dalam kontainer:

sudo docker exec jupyterhub conda install keras

Administrasi dengan mengirimkan langkah-langkah

Langkah-langkah adalah cara untuk mengirimkan pekerjaan ke klaster. Anda dapat mengirimkan langkah-langkah ketika Anda meluncurkan sebuah klaster, atau Anda dapat mengirimkan langkah-langkah untuk menjalankan klaster. Perintah yang Anda jalankan pada baris perintah dapat dikirimkan sebagai langkah menggunakan command-runner.jar. Untuk informasi selengkapnya, lihat Bekerja dengan langkah-langkah menggunakan CLI dan konsol di Panduan EMR Manajemen Amazon danJalankan perintah dan skrip di klaster Amazon EMR.

Misalnya, Anda dapat menggunakan AWS CLI perintah berikut pada komputer lokal untuk menginstal Keras dengan cara yang sama seperti yang Anda lakukan dari baris perintah master node dalam contoh sebelumnya:

aws emr add-steps --cluster-id MyClusterID --steps Name="Command Runner",Jar="command-runner.jar",Args="/usr/bin/sudo","/usr/bin/docker","exec","jupyterhub","conda","install","keras"

Juga, Anda dapat menuliskan urutan langkah-langkah, mengunggah skrip ke Amazon S3, dan kemudian menggunakan script-runner.jar untuk menjalankan skrip saat Anda membuat klaster atau menambahkan skrip sebagai langkah. Untuk informasi selengkapnya, lihat Jalankan perintah dan skrip di klaster Amazon EMR. Sebagai contoh, lihat Contoh: Skrip Bash untuk menambahkan beberapa pengguna.

Administrasi menggunakan REST APIs

Jupyter, JupyterHub, dan HTTP proxy untuk JupyterHub penyediaan REST APIs yang dapat Anda gunakan untuk mengirim permintaan. Untuk mengirim permintaan JupyterHub, Anda harus memberikan API token dengan permintaan tersebut. Anda dapat menggunakan curl perintah dari baris perintah master node untuk menjalankan REST perintah. Untuk informasi selengkapnya, lihat sumber daya berikut:

Contoh berikut menunjukkan menggunakan REST API for JupyterHub untuk mendapatkan daftar pengguna. Perintah meneruskan token admin yang dibuat sebelumnya dan menggunakan port default, 9443, untuk JupyterHub, menyalurkan output ke jq agar lebih mudah dilihat:

curl -XGET -s -k https://$HOST:9443/hub/api/users \ -H "Authorization: token $admin_token" | jq .