Menggunakan Algoritma untuk Menjalankan Job Tuning Hyperparameter

Bagian berikut menjelaskan cara menggunakan sumber daya algoritme untuk menjalankan pekerjaan tuning hyperparameter di Amazon. SageMaker Pekerjaan penyetelan hyperparameter menemukan versi terbaik dari model dengan menjalankan banyak pekerjaan pelatihan pada kumpulan data Anda menggunakan algoritme dan rentang hiperparameter yang Anda tentukan. Kemudian memilih nilai hyperparameter yang menghasilkan model yang berkinerja terbaik, yang diukur dengan metrik yang Anda pilih. Untuk informasi selengkapnya, lihat Penyetelan model otomatis dengan SageMaker.

Anda dapat membuat menggunakan sumber daya algoritme untuk membuat pekerjaan penyetelan hyperparameter dengan menggunakan SageMaker konsol Amazon, Amazon tingkat rendah, atau SageMaker API Amazon Python. SageMaker SDK

Menggunakan Algoritma untuk Menjalankan Job Tuning Hyperparameter (Console)

Untuk menggunakan algoritme untuk menjalankan pekerjaan tuning hyperparameter (konsol)

1. Buka SageMaker konsol di https://console.aws.amazon.com/sagemaker/.

2. Pilih Algoritma.

3. Pilih algoritme yang Anda buat dari daftar di tab Algoritma saya atau pilih algoritme yang Anda langgani di tab AWS Marketplace langganan.

4. Pilih Buat pekerjaan tuning hyperparameter.

   Algoritma yang Anda pilih akan dipilih secara otomatis.

5. Pada halaman pekerjaan penyetelan Create hyperparameter, berikan informasi berikut:

   1. Untuk Warm start, pilih Aktifkan start hangat untuk menggunakan informasi dari pekerjaan penyetelan hiperparameter sebelumnya sebagai titik awal untuk pekerjaan penyetelan hiperparameter ini. Untuk informasi selengkapnya, lihat Jalankan Pekerjaan Tuning Hyperparameter Mulai yang Hangat.

      1. Pilih Data dan algoritme identik jika data input Anda sama dengan data input untuk pekerjaan induk dari pekerjaan penyetelan hiperparameter ini, atau pilih Transfer pembelajaran untuk menggunakan data input tambahan atau berbeda untuk pekerjaan penyetelan hiperparameter ini.

      2. Untuk pekerjaan penyetelan hiperparameter Induk, pilih hingga 5 pekerjaan penyetelan hiperparameter untuk digunakan sebagai orang tua untuk pekerjaan penyetelan hiperparameter ini.

   2. Untuk nama pekerjaan tuning Hyperparameter, ketikkan nama untuk pekerjaan tuning.

   3. Untuk IAMperan, pilih IAM peran yang memiliki izin yang diperlukan untuk menjalankan tugas penyetelan hyperparameter SageMaker, atau pilih Buat peran baru SageMaker untuk memungkinkan membuat peran yang memiliki kebijakan AmazonSageMakerFullAccess terkelola yang dilampirkan. Untuk informasi, lihat Cara menggunakan peran SageMaker eksekusi.

   4. Untuk VPC, pilih Amazon VPC yang ingin Anda izinkan pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan untuk diakses. Untuk informasi selengkapnya, lihat Berikan Akses Pekerjaan SageMaker Pelatihan ke Sumber Daya di Amazon Anda VPC.

   5. Pilih Berikutnya.

   6. Untuk metrik Objective, pilih metrik yang digunakan oleh tugas tuning hyperparameter untuk menentukan kombinasi terbaik dari hyperparameters, dan pilih apakah akan meminimalkan atau memaksimalkan metrik ini. Untuk informasi selengkapnya, lihat Lihat Training Job Terbaik.

   7. Untuk konfigurasi Hyperparameter, pilih rentang untuk hyperparameter yang dapat disetel yang ingin dicari oleh pekerjaan penyetelan, dan tetapkan nilai statis untuk hiperparameter yang ingin tetap konstan di semua pekerjaan pelatihan yang diluncurkan oleh tugas tuning hyperparameter. Untuk informasi selengkapnya, lihat Tentukan Rentang Hyperparameter.

   8. Pilih Berikutnya.

   9. Untuk konfigurasi data Input, tentukan nilai berikut untuk setiap saluran data input yang akan digunakan untuk pekerjaan penyetelan hyperparameter. Anda dapat melihat saluran apa yang didukung algoritme yang Anda gunakan untuk penyetelan hiperparameter, dan jenis konten, jenis kompresi yang didukung, dan mode input yang didukung untuk setiap saluran, di bawah bagian Spesifikasi saluran pada halaman ringkasan Algoritma untuk algoritme.

      1. Untuk nama Saluran, ketik nama saluran input.

      2. Untuk tipe Konten, ketikkan tipe konten data yang diharapkan algoritme untuk saluran tersebut.

      3. Untuk jenis Kompresi, pilih jenis kompresi data yang akan digunakan, jika ada.

      4. Untuk Record wrapper, pilih RecordIO apakah algoritma mengharapkan data dalam format. RecordIO

      5. Untuk tipe data S3, tipe distribusi data S3, dan lokasi S3, tentukan nilai yang sesuai. Untuk informasi tentang arti nilai-nilai ini, lihat S3DataSource.

      6. Untuk mode Input, pilih File untuk mengunduh data dari ke volume penyimpanan ML yang disediakan, dan pasang direktori ke volume Docker. Pilih Pipe Untuk mengalirkan data langsung dari Amazon S3 ke wadah.

      7. Untuk menambahkan saluran input lain, pilih Tambah saluran. Jika Anda selesai menambahkan saluran input, pilih Selesai.

   10. Untuk lokasi Output, tentukan nilai berikut:

       1. Untuk jalur keluaran S3, pilih lokasi S3 tempat pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan hyperparameter ini, seperti artefak model.

          catatan

          Anda menggunakan artefak model yang disimpan di lokasi ini untuk membuat model atau paket model dari pekerjaan tuning hyperparameter ini.

       2. Untuk kunci Enkripsi, jika Anda SageMaker ingin menggunakan AWS KMS kunci untuk mengenkripsi data keluaran saat istirahat di lokasi S3.

   11. Untuk konfigurasi Sumber Daya, berikan informasi berikut:

       1. Untuk tipe Instance, pilih jenis instance yang akan digunakan untuk setiap pekerjaan pelatihan yang diluncurkan oleh tugas tuning hyperparameter.

       2. Untuk jumlah Instance, ketikkan jumlah instance ML yang akan digunakan untuk setiap pekerjaan pelatihan yang diluncurkan oleh tugas tuning hyperparameter.

       3. Untuk Volume tambahan per instans (GB), ketikkan ukuran volume penyimpanan ML yang ingin Anda sediakan untuk setiap tugas pelatihan yang diluncurkan oleh tugas tuning hyperparameter. Volume penyimpanan ML menyimpan artefak model dan status inkremental.

       4. Untuk kunci Enkripsi, jika Anda SageMaker ingin Amazon menggunakan kunci Layanan Manajemen AWS Kunci untuk mengenkripsi data dalam volume penyimpanan ML yang dilampirkan ke instance pelatihan, tentukan kuncinya.

   12. Untuk batas Sumber Daya, berikan informasi berikut:

       1. Untuk pekerjaan pelatihan maksimum, tentukan jumlah maksimum pekerjaan pelatihan yang Anda inginkan untuk memulai pekerjaan tuning hyperparameter. Pekerjaan tuning hyperparameter dapat meluncurkan maksimal 500 pekerjaan pelatihan.

       2. Untuk pekerjaan pelatihan paralel maksimum, tentukan jumlah maksimum pekerjaan pelatihan bersamaan yang dapat diluncurkan oleh pekerjaan tuning hyperparameter. Pekerjaan tuning hyperparameter dapat meluncurkan maksimal 10 pekerjaan pelatihan bersamaan.

       3. Untuk kondisi Berhenti, tentukan jumlah waktu maksimum dalam detik, menit, jam, atau hari, yang Anda inginkan agar setiap pekerjaan pelatihan yang diluncurkan oleh pekerjaan tuning hyperparameter dijalankan.

   13. Untuk Tag, tentukan satu atau beberapa tag untuk mengelola tugas penyetelan hyperparameter. Setiap tanda terdiri dari kunci dan nilai opsional. Kunci tanda harus unik untuk setiap sumber daya.

   14. Pilih Buat pekerjaan untuk menjalankan pekerjaan tuning hyperparameter.

Menggunakan Algoritma untuk Menjalankan Hyperparameter Tuning Job () API

Untuk menggunakan algoritme untuk menjalankan tugas penyetelan hyperparameter dengan menggunakan SageMaker API, tentukan nama atau Amazon Resource Name (ARN) algoritme sebagai AlgorithmName bidang AlgorithmSpecificationobjek yang Anda lewati. CreateHyperParameterTuningJob Untuk informasi tentang penyetelan hyperparameter SageMaker, lihat. Penyetelan model otomatis dengan SageMaker

Menggunakan Algoritma untuk Menjalankan Pekerjaan Tuning Hyperparameter (Amazon Python SageMaker ) SDK

Gunakan algoritme yang Anda buat atau berlangganan AWS Marketplace untuk membuat pekerjaan tuning hyperparameter, buat AlgorithmEstimator objek, dan tentukan Amazon Resource Name (ARN) atau nama algoritme sebagai nilai argumen. algorithm_arn Kemudian inisialisasi HyperparameterTuner objek dengan yang AlgorithmEstimator Anda buat sebagai nilai estimator argumen. Akhirnya, panggil fit metodeAlgorithmEstimator. Sebagai contoh:

from sagemaker import AlgorithmEstimator
from sagemaker.tuner import HyperparameterTuner

data_path = os.path.join(DATA_DIR, 'marketplace', 'training')

algo = AlgorithmEstimator(
            algorithm_arn='arn:aws:sagemaker:us-east-2:764419575721:algorithm/scikit-decision-trees-1542410022',
            role='SageMakerRole',
            instance_count=1,
            instance_type='ml.c4.xlarge',
            sagemaker_session=sagemaker_session,
            base_job_name='test-marketplace')

train_input = algo.sagemaker_session.upload_data(
    path=data_path, key_prefix='integ-test-data/marketplace/train')

algo.set_hyperparameters(max_leaf_nodes=10)
tuner = HyperparameterTuner(estimator=algo, base_tuning_job_name='some-name',
                                objective_metric_name='validation:accuracy',
                                hyperparameter_ranges=hyperparameter_ranges,
                                max_jobs=2, max_parallel_jobs=2)

tuner.fit({'training': train_input}, include_cls_metadata=False)
tuner.wait()