Membuat instance SageMaker notebook Amazon

penting

IAMKebijakan khusus yang memungkinkan Amazon SageMaker Studio atau Amazon SageMaker Studio Classic membuat SageMaker sumber daya Amazon juga harus memberikan izin untuk menambahkan tag ke sumber daya tersebut. Izin untuk menambahkan tag ke sumber daya diperlukan karena Studio dan Studio Classic secara otomatis menandai sumber daya apa pun yang mereka buat. Jika IAM kebijakan mengizinkan Studio dan Studio Classic membuat sumber daya tetapi tidak mengizinkan penandaan, kesalahan "AccessDenied" dapat terjadi saat mencoba membuat sumber daya. Untuk informasi selengkapnya, lihat Berikan izin untuk menandai sumber daya SageMaker.

AWS Kebijakan Terkelola untuk Amazon SageMakeryang memberikan izin untuk membuat SageMaker sumber daya sudah menyertakan izin untuk menambahkan tag saat membuat sumber daya tersebut.

Instance SageMaker notebook Amazon adalah instance komputasi ML yang menjalankan aplikasi Jupyter Notebook. SageMaker mengelola pembuatan instance dan sumber daya terkait. Gunakan notebook Jupyter di instance notebook Anda untuk:

• menyiapkan dan memproses data

• tulis kode untuk melatih model

• menyebarkan model ke hosting SageMaker

• menguji atau memvalidasi model Anda

Untuk membuat instance notebook, gunakan SageMaker konsol atau CreateNotebookInstanceAPI.

Jenis instans notebook yang Anda pilih bergantung pada cara Anda menggunakan instance notebook Anda. Pastikan instance notebook Anda tidak terikat oleh memori,CPU, atau IO. Untuk memuat kumpulan data ke dalam memori pada instance notebook untuk eksplorasi atau pra-pemrosesan, pilih jenis instans dengan RAM memori yang cukup untuk kumpulan data Anda. Ini membutuhkan instance dengan setidaknya 16 GB memori (.xlarge atau lebih besar). Jika Anda berencana menggunakan notebook untuk pra-pemrosesan intensif komputasi, kami sarankan Anda memilih instance yang dioptimalkan komputasi seperti c4 atau c5.

Praktik terbaik saat menggunakan SageMaker notebook adalah dengan menggunakan instance notebook untuk mengatur layanan lain. AWS Misalnya, Anda dapat menggunakan instance notebook untuk mengelola pemrosesan kumpulan data besar. Untuk melakukan ini, lakukan panggilan ke AWS Glue untuk ETL (ekstrak, transformasi, dan muat) layanan atau Amazon EMR untuk pemetaan dan pengurangan data menggunakan Hadoop. Anda dapat menggunakan AWS layanan sebagai bentuk perhitungan atau penyimpanan sementara untuk data Anda.

Anda dapat menyimpan dan mengambil data pelatihan dan pengujian menggunakan bucket Amazon Simple Storage Service. Anda kemudian dapat menggunakannya SageMaker untuk melatih dan membangun model Anda. Akibatnya, jenis instance notebook Anda tidak akan berpengaruh pada kecepatan pelatihan dan pengujian model Anda.

Setelah menerima permintaan, SageMaker lakukan hal berikut:

• Membuat antarmuka jaringan —Jika Anda memilih VPC konfigurasi opsional, SageMaker buat antarmuka jaringan di AndaVPC. Ini menggunakan ID subnet yang Anda berikan dalam permintaan untuk menentukan Availability Zone mana untuk membuat subnet. SageMaker mengaitkan grup keamanan yang Anda berikan dalam permintaan dengan subnet. Untuk informasi selengkapnya, lihat Connect Instance Notebook VPC ke Sumber Daya Eksternal.

• Meluncurkan instance komputasi SageMaker ML—meluncurkan instance komputasi ML dalam file. SageMaker VPC SageMaker melakukan tugas konfigurasi yang memungkinkannya mengelola instance notebook Anda. Jika Anda menentukanVPC, SageMaker aktifkan lalu lintas antara instans Anda VPC dan notebook.

• Menginstal paket dan pustaka Anaconda untuk platform pembelajaran mendalam umum — SageMaker menginstal semua paket Anaconda yang disertakan dalam penginstal. Untuk informasi lebih lanjut, lihat daftar paket Anaconda. SageMaker juga menginstal perpustakaan pembelajaran MXNet mendalam TensorFlow dan Apache.

• Melampirkan volume penyimpanan SageMaker ML-melampirkan volume penyimpanan ML ke instans komputasi ML. Anda dapat menggunakan volume sebagai area kerja untuk membersihkan kumpulan data pelatihan atau untuk sementara menyimpan validasi, pengujian, atau data lainnya. Pilih ukuran apa pun antara 5 GB dan 16384 GB, dengan peningkatan 1 GB, untuk volume. Defaultnya adalah 5 GB. Volume penyimpanan ML dienkripsi, sehingga tidak SageMaker dapat menentukan jumlah ruang kosong yang tersedia pada volume. Karena itu, Anda dapat meningkatkan ukuran volume saat memperbarui instance notebook, tetapi Anda tidak dapat mengurangi ukuran volume. Jika Anda ingin mengurangi ukuran volume penyimpanan ML yang digunakan, buat instance notebook baru dengan ukuran yang diinginkan.

  Hanya file dan data yang disimpan dalam /home/ec2-user/SageMaker folder yang bertahan di antara sesi instance notebook. File dan data yang disimpan di luar direktori ini akan ditimpa saat instance notebook berhenti dan dimulai ulang. Setiap direktori /tmp instance notebook menyediakan minimal 10 GB penyimpanan di penyimpanan instance. Penyimpanan instance adalah penyimpanan sementara, tingkat blok yang tidak persisten. Ketika instance dihentikan atau dimulai ulang, SageMaker menghapus isi direktori. Penyimpanan sementara ini adalah bagian dari volume root dari instance notebook.

  Jika jenis instans yang digunakan oleh instance notebook memiliki NVMe dukungan, pelanggan dapat menggunakan volume penyimpanan NVMe instance yang tersedia untuk jenis instance tersebut. Untuk instance dengan volume NVMe toko, semua volume penyimpanan instance secara otomatis dilampirkan ke instance saat peluncuran. Untuk informasi selengkapnya tentang jenis instans dan volume NVMe penyimpanannya yang terkait, lihat Detail Jenis Instance Amazon Elastic Compute Cloud.

  Untuk membuat volume NVMe penyimpanan terlampir tersedia untuk instance notebook Anda, selesaikan langkah-langkah dalam Membuat volume penyimpanan instans tersedia di instans Anda. Selesaikan langkah-langkah dengan akses root atau dengan menggunakan skrip konfigurasi siklus hidup.

  catatan

  NVMevolume penyimpanan instance bukan penyimpanan persisten. Penyimpanan ini berumur pendek dengan instance dan harus dikonfigurasi ulang setiap kali instance dengan penyimpanan ini diluncurkan.

• Contoh salinan notebook Jupyter - Contoh kode Python ini menunjukkan pelatihan model dan latihan hosting menggunakan algoritme dan kumpulan data pelatihan yang berbeda.

Untuk membuat instance SageMaker notebook:

1. Buka SageMaker konsol di https://console.aws.amazon.com/sagemaker/.

2. Pilih instance Notebook, lalu pilih Buat instance notebook.

3. Pada halaman Create notebook instance, berikan informasi berikut:

   1. Untuk nama instance Notebook, ketikkan nama untuk instance notebook Anda.

   2. Untuk jenis instans Notebook, pilih ukuran instans yang sesuai untuk kasus penggunaan Anda. Untuk daftar jenis dan kuota instans yang didukung, lihat Amazon SageMaker Service Quotas.

   3. Untuk Pengenal Platform, pilih jenis platform untuk membuat instance notebook. Jenis platform ini menentukan Sistem Operasi dan JupyterLab versi yang membuat instance notebook Anda. Untuk informasi tentang jenis pengenal platform, lihatInstans notebook Amazon Linux 2. Untuk informasi tentang versi JupyterLab, lihat JupyterLab pembuatan versi.

   4. (Opsional) Konfigurasi tambahan memungkinkan pengguna tingkat lanjut membuat skrip shell yang dapat dijalankan saat Anda membuat atau memulai instance. Skrip ini, yang disebut skrip konfigurasi siklus hidup, dapat digunakan untuk mengatur lingkungan untuk notebook atau untuk melakukan fungsi lainnya. Untuk informasi, lihat Kustomisasi instance SageMaker notebook menggunakan LCC skrip.

   5. (Opsional) Konfigurasi tambahan juga memungkinkan Anda menentukan ukuran, dalam GB, volume penyimpanan ML yang dilampirkan ke instance notebook. Anda dapat memilih ukuran antara 5 GB dan 16.384 GB, dengan peningkatan 1 GB. Anda dapat menggunakan volume untuk membersihkan dataset pelatihan atau untuk sementara menyimpan validasi atau data lainnya.

   6. (Opsional) Untuk IMDSVersi Minimum, pilih versi dari daftar dropdown. Jika nilai ini diatur ke v1, kedua versi dapat digunakan dengan instance notebook. Jika v2 dipilih, maka hanya IMDSv2 dapat digunakan dengan instance notebook. Untuk selengkapnyaIMDSv2, lihat Menggunakan IMDSv2.

      catatan

      Mulai 31 Oktober 2022, IMDS Versi minimum default untuk instance SageMaker notebook berubah dari IMDSv1 menjadiIMDSv2.

      Mulai 1 Februari 2023, IMDSv1 tidak lagi tersedia untuk pembuatan instance notebook baru. Setelah tanggal ini, Anda dapat membuat instance notebook dengan IMDS versi minimal 2.

   7. Untuk IAMperan, pilih IAM peran yang ada di akun Anda dengan izin yang diperlukan untuk mengakses SageMaker sumber daya atau Buat peran baru. Jika Anda memilih Buat peran baru, SageMaker buat IAM peran bernamaAmazonSageMaker-ExecutionRole-YYYYMMDDTHHmmSS. Kebijakan AWS AmazonSageMakerFullAccess terkelola melekat pada peran tersebut. Peran ini memberikan izin yang memungkinkan instance notebook menelepon SageMaker dan Amazon S3.

   8. Untuk akses Root, untuk memberikan akses root bagi semua pengguna instance notebook, pilih Aktifkan. Untuk menghapus akses root bagi pengguna, pilih Nonaktifkan. Jika Anda memberikan akses root, semua pengguna instance notebook memiliki hak administrator dan dapat mengakses dan mengedit semua file di dalamnya.

   9. (Opsional) Kunci enkripsi memungkinkan Anda mengenkripsi data pada volume penyimpanan ML yang dilampirkan ke instance notebook menggunakan kunci AWS Key Management Service (AWS KMS). Jika Anda berencana untuk menyimpan informasi sensitif pada volume penyimpanan ML, pertimbangkan untuk mengenkripsi informasi.

   10. (Opsional) Jaringan memungkinkan Anda menempatkan instance notebook Anda di dalam Virtual Private Cloud (VPC). A VPC memberikan keamanan tambahan dan membatasi akses ke sumber daya VPC dari sumber di luarVPC. Untuk informasi selengkapnyaVPCs, lihat Panduan VPC Pengguna Amazon.

       Untuk menambahkan instance notebook Anda keVPC:

       1. Pilih VPCdan a SubnetId.

       2. Untuk Grup Keamanan, pilih grup keamanan default AndaVPC.

       3. Jika Anda memerlukan instance notebook Anda untuk memiliki akses internet, aktifkan akses internet langsung. Untuk akses internet langsung, pilih Aktifkan. Akses internet dapat membuat instance notebook Anda kurang aman. Untuk informasi selengkapnya, lihat Connect Instance Notebook VPC ke Sumber Daya Eksternal.

   11. (Opsional) Untuk mengaitkan repositori Git dengan instance notebook, pilih repositori default dan hingga tiga repositori tambahan. Untuk informasi selengkapnya, lihat Repositori Git dengan SageMaker Instans Notebook.

   12. Pilih Buat instans notebook.

       Dalam beberapa menit, Amazon SageMaker meluncurkan instans komputasi ML—dalam hal ini, instance notebook—dan melampirkan volume penyimpanan ML ke dalamnya. Instance notebook memiliki server notebook Jupyter yang telah dikonfigurasi sebelumnya dan satu set pustaka Anaconda. Untuk informasi lebih lanjut, lihat CreateNotebookInstanceAPI.

4. Ketika status instance notebookInService, di konsol, instance notebook siap digunakan. Pilih Buka Jupyter di sebelah nama notebook untuk membuka dasbor Jupyter klasik.

   catatan

   Untuk meningkatkan keamanan instans SageMaker notebook Amazon Anda, semua notebook.region.sagemaker.aws domain regional terdaftar di Daftar Akhiran Publik internet (). PSL Untuk keamanan lebih lanjut, kami menyarankan Anda menggunakan cookie dengan __Host- awalan untuk mengatur cookie sensitif untuk domain instance SageMaker buku catatan Anda. Ini membantu mempertahankan domain Anda dari upaya pemalsuan permintaan lintas situs (). CSRF Untuk informasi selengkapnya, lihat halaman Set-Cookie di situs web dokumentasi pengembang mozilla.org.

   Anda dapat memilih Buka JupyterLab untuk membuka JupyterLab dasbor. Dasbor menyediakan akses ke instance notebook Anda dan contoh SageMaker buku catatan yang berisi panduan kode lengkap. Panduan ini menunjukkan cara menggunakan SageMaker untuk melakukan tugas pembelajaran mesin yang umum. Untuk informasi selengkapnya, lihat Akses contoh notebook. Untuk informasi selengkapnya, lihat Kontrol akses root ke instance SageMaker notebook.

   Untuk informasi lebih lanjut tentang notebook Jupyter, lihat Notebook Jupyter.