Instal kernel dan pustaka di Ruang Kerja Studio EMR - Amazon EMR
Amazon EMR di EC2Amazon EMR di EKSAmazon Tanpa EMR Server

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Instal kernel dan pustaka di Ruang Kerja Studio EMR

Setiap Amazon EMR Studio Workspace dilengkapi dengan serangkaian pustaka dan kernel yang sudah diinstal sebelumnya.

Kernel dan pustaka pada cluster yang berjalan di Amazon EC2

Anda juga dapat menyesuaikan lingkungan untuk EMR Studio dengan cara berikut saat Anda menggunakan EMR kluster yang berjalan di AmazonEC2:

  • Instal kernel Jupyter Notebook dan pustaka Python pada simpul utama klaster — Saat Anda menginstal pustaka menggunakan opsi ini, semua Ruang Kerja yang dilampirkan ke klaster yang sama berbagi pustaka tersebut. Anda dapat menginstal kernel atau pustaka dari dalam sel notebook atau saat terhubung menggunakan SSH ke node utama cluster.

  • Gunakan pustaka dengan cakupan notebook — Saat pengguna Workspace menginstal dan menggunakan pustaka dari dalam sel notebook, pustaka tersebut hanya tersedia untuk buku catatan itu saja. Opsi ini memungkinkan notebook yang berbeda menggunakan klaster yang sama berfungsi tanpa khawatir tentang versi pustaka yang bertentangan.

EMRStudio Workspaces memiliki arsitektur dasar yang sama dengan EMR Notebook. Anda dapat menginstal dan menggunakan kernel Notebook Jupyter dan pustaka Python dengan EMR Studio dengan cara yang sama seperti yang Anda lakukan dengan Notebook. EMR Untuk petunjuk, silakan lihat Menginstal dan menggunakan kernel dan pustaka di Studio EMR.

Kernel dan pustaka di Amazon EMR pada cluster EKS

Amazon EMR pada EKS cluster menyertakan kernel PySpark dan Python 3.7 dengan satu set pustaka pra-instal. Amazon EMR on EKS tidak mendukung pemasangan pustaka atau cluster tambahan.

Setiap Amazon EMR di EKS cluster dilengkapi dengan Python dan PySpark pustaka berikut yang diinstal:

  • Python – boto3, cffi, future, ggplot, jupyter, kubernetes, matplotlib, numpy, pandas, plotly, pycryptodomex, py4j, requests, scikit-learn, scipy, seaborn

  • PySpark – ggplot, jupyter, matplotlib, numpy, pandas, plotly, pycryptodomex, py4j, requests, scikit-learn, scipy, seaborn

Kernel dan pustaka pada aplikasi Tanpa Server EMR

Setiap aplikasi EMR Tanpa Server dilengkapi dengan Python dan pustaka berikut yang diinstal: PySpark

  • Python – ggplot, matplotlib, numpy, pandas, plotly, bokeh, scikit-learn, scipy, seaborn

  • PySpark – ggplot, matplotlib,numpy, pandas, plotly, bokeh, scikit-learn, scipy, seaborn