SageMaker Contoh percikan untuk Python PySpark () - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

SageMaker Contoh percikan untuk Python PySpark ()

Amazon SageMaker menyediakan pustaka Apache Spark Python (SageMaker PySpark) yang dapat Anda gunakan untuk mengintegrasikan aplikasi Apache Spark Anda. SageMaker Misalnya, Anda dapat menggunakan Apache Spark untuk preprocessing data dan SageMaker untuk pelatihan model dan hosting. Untuk informasi tentang perpustakaan SageMaker Apache Spark, lihat. Gunakan Apache Spark dengan Amazon SageMaker

Unduh PySpark

Anda dapat mengunduh kode sumber untuk pustaka Python Spark (PySpark) dan Scala dari repositori Spark. SageMaker GitHub

Untuk petunjuk tentang menginstal pustaka SageMaker Spark, gunakan opsi berikut atau kunjungi SageMaker PySpark.

  • Instal menggunakan pip:

    pip install sagemaker_pyspark

  • Instal dari sumbernya:

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Anda juga dapat membuat notebook baru dalam instance notebook yang menggunakan kernel Sparkmagic (PySpark) atau Sparkmagic (PySpark3) kernel dan terhubung ke EMR cluster Amazon jarak jauh.

    catatan

    EMRCluster Amazon harus dikonfigurasi dengan IAM peran yang memiliki AmazonSageMakerFullAccess kebijakan terlampir. Untuk informasi tentang mengonfigurasi peran untuk EMR klaster, lihat Mengonfigurasi IAM Peran untuk EMR Izin Amazon AWS Layanan dalam Panduan EMR Manajemen Amazon.

PySpark contoh

Untuk contoh tentang penggunaan SageMaker PySpark, lihat:

Untuk menjalankan notebook pada instance notebook, lihatContoh Notebook. Untuk menjalankan notebook di Studio, lihatMembuat atau Membuka Notebook Amazon SageMaker Studio Classic.