Buat Sumber Daya Algoritma

Anda dapat membuat sumber daya algoritme untuk digunakan dengan pekerjaan pelatihan di Amazon SageMaker, dan Anda dapat mempublikasikannya AWS Marketplace. Bagian berikut menjelaskan bagaimana melakukannya dengan menggunakan AWS Management Console dan SageMaker API.

Untuk membuat sumber daya algoritma, Anda menentukan informasi berikut:

• Kontainer Docker yang berisi pelatihan dan, secara opsional, kode inferensi.

• Konfigurasi data input yang diharapkan algoritme Anda untuk pelatihan.

• Hyperparameter yang didukung algoritma Anda.

• Metrik yang dikirimkan algoritme Anda ke Amazon CloudWatch selama pekerjaan pelatihan.

• Jenis instans yang didukung algoritme Anda untuk pelatihan dan inferensi, dan apakah itu mendukung pelatihan terdistribusi di beberapa instance.

• Profil validasi, yang merupakan pekerjaan pelatihan yang SageMaker digunakan untuk menguji kode pelatihan algoritme Anda dan pekerjaan transformasi batch yang SageMaker berjalan untuk menguji kode inferensi algoritme Anda.

  Untuk memastikan bahwa pembeli dan penjual dapat yakin bahwa produk berfungsi SageMaker, kami mengharuskan Anda memvalidasi algoritme Anda sebelum mencantumkannya. AWS Marketplace Anda dapat membuat daftar produk AWS Marketplace hanya jika validasi berhasil. Untuk memvalidasi algoritme, SageMaker gunakan profil validasi dan data sampel untuk menjalankan tugas validasi berikut:

  1. Buat pekerjaan pelatihan di akun Anda untuk memverifikasi bahwa gambar pelatihan Anda berfungsi SageMaker.

  2. Jika Anda menyertakan kode inferensi dalam algoritme Anda, buat model di akun Anda menggunakan gambar inferensi algoritme dan artefak model yang dihasilkan oleh pekerjaan pelatihan.

  3. Jika Anda menyertakan kode inferensi dalam algoritme Anda, buat pekerjaan transformasi di akun Anda menggunakan model untuk memverifikasi bahwa gambar inferensi Anda berfungsi. SageMaker

  Saat Anda mencantumkan produk Anda AWS Marketplace, input dan output dari proses validasi ini tetap ada sebagai bagian dari produk Anda dan tersedia untuk pembeli Anda. Ini membantu pembeli memahami dan mengevaluasi produk sebelum mereka membelinya. Misalnya, pembeli dapat memeriksa data input yang Anda gunakan, output yang dihasilkan, dan log serta metrik yang dipancarkan oleh kode Anda. Semakin komprehensif spesifikasi validasi Anda, semakin mudah bagi pelanggan untuk mengevaluasi produk Anda.

  catatan

  Di profil validasi Anda, berikan hanya data yang ingin Anda paparkan secara publik.

  Validasi bisa memakan waktu hingga beberapa jam. Untuk melihat status pekerjaan di akun Anda, di SageMaker konsol, lihat halaman Training jobs dan Transform jobs. Jika validasi gagal, Anda dapat mengakses laporan pemindaian dan validasi dari konsol. SageMaker Jika ada masalah yang ditemukan, Anda harus membuat algoritma lagi.

  catatan

  Untuk mempublikasikan algoritme Anda AWS Marketplace, setidaknya diperlukan satu profil validasi.

Anda dapat membuat algoritma dengan menggunakan SageMaker konsol atau SageMakerAPI.

Membuat Sumber Daya Algoritma (Konsol)

Untuk membuat sumber daya algoritme (konsol)

1. Buka SageMaker konsol di https://console.aws.amazon.com/sagemaker/.

2. Dari menu sebelah kiri, pilih Pelatihan.

3. Dari menu dropdown, pilih Algoritma, lalu pilih Buat algoritma.

4. Pada halaman Spesifikasi Pelatihan, berikan informasi berikut:

   1. Untuk nama Algoritma, ketikkan nama untuk algoritma Anda. Nama algoritma harus unik di akun Anda dan di AWS wilayah tersebut. Nama harus memiliki 1 hingga 64 karakter. Karakter yang valid adalah a-z, A-Z, 0-9, dan - (tanda hubung).

   2. Ketik deskripsi untuk algoritma Anda. Deskripsi ini muncul di SageMaker konsol dan di AWS Marketplace.

   3. Untuk gambar Pelatihan, ketik jalur di Amazon ECR tempat wadah pelatihan Anda disimpan.

   4. Untuk pelatihan terdistribusi Support, Pilih Ya jika algoritme Anda mendukung pelatihan pada beberapa instance. Jika tidak, pilih Tidak.

   5. Untuk jenis instans Support untuk pelatihan, pilih jenis instans yang didukung algoritme Anda.

   6. Untuk spesifikasi Saluran, tentukan hingga 8 saluran data input untuk algoritme Anda. Misalnya, Anda dapat menentukan 3 saluran input bernamatrain,validation, dantest. Untuk setiap saluran, tentukan informasi berikut:

      1. Untuk nama Saluran, ketikkan nama untuk saluran. Nama harus memiliki 1 hingga 64 karakter. Karakter yang valid adalah a-z, A-Z, 0-9, dan - (tanda hubung).

      2. Untuk mewajibkan saluran untuk algoritme Anda, pilih Saluran yang diperlukan.

      3. Ketik deskripsi untuk saluran.

      4. Untuk mode input yang didukung, pilih mode Pipa jika algoritme Anda mendukung streaming data input, dan mode File jika algoritme Anda mendukung pengunduhan data input sebagai file. Anda dapat memilih keduanya.

      5. Untuk jenis konten yang didukung, ketikkan MIME tipe yang diharapkan algoritme untuk data masukan.

      6. Untuk jenis kompresi yang didukung, pilih Gzip jika algoritme Anda mendukung kompresi Gzip. Jika tidak, pilih Tidak ada.

      7. Pilih Tambah saluran untuk menambahkan saluran input data lain, atau pilih Berikutnya jika Anda selesai menambahkan saluran.

5. Pada halaman spesifikasi Tuning, berikan informasi berikut:

   1. Untuk spesifikasi Hyperparameter, tentukan hyperparameters yang didukung algoritme Anda dengan mengedit objek. JSON Untuk setiap hyperparameter yang didukung algoritme Anda, buat JSON blok yang mirip dengan berikut ini:

      {
      "DefaultValue": "5",
      "Description": "The first hyperparameter",
      "IsRequired": true,
      "IsTunable": false,
      "Name": "intRange",
      "Range": {
      "IntegerParameterRangeSpecification": {
      "MaxValue": "10",
      "MinValue": "1"
      },
      "Type": "Integer"
      }

      DalamJSON, sediakan yang berikut:

      1. UntukDefaultValue, tentukan nilai default untuk hyperparameter, jika ada.

      2. UntukDescription, tentukan deskripsi untuk hyperparameter.

      3. UntukIsRequired, tentukan apakah hyperparameter diperlukan.

      4. UntukIsTunable, tentukan true apakah hyperparameter ini dapat disetel saat pengguna menjalankan tugas tuning hyperparameter yang menggunakan algoritme ini. Untuk informasi, lihat Penyetelan model otomatis dengan SageMaker.

      5. UntukName, tentukan nama untuk hyperparameter.

      6. UntukRange, tentukan salah satu dari berikut ini:

         • IntegerParameterRangeSpecification- nilai hyperparameter adalah bilangan bulat. Tentukan nilai minimum dan maksimum untuk hyperparameter.

         • ContinuousParameterRangeSpecification- nilai hyperparameter adalah nilai floating-point. Tentukan nilai minimum dan maksimum untuk hyperparameter.

         • CategoricalParameterRangeSpecification- nilai hyperparameter adalah nilai kategoris. Tentukan daftar semua nilai yang mungkin.

      7. UntukType, tentukanInteger,Continuous, atauCategorical. Nilai harus sesuai dengan jenis Range yang Anda tentukan.

   2. Untuk definisi Metrik, tentukan metrik pelatihan apa pun yang Anda ingin algoritme Anda pancarkan. SageMaker menggunakan ekspresi reguler yang Anda tentukan untuk menemukan metrik dengan mengurai log dari wadah pelatihan selama pelatihan. Pengguna dapat melihat metrik ini saat mereka menjalankan pekerjaan pelatihan dengan algoritme Anda, dan mereka dapat memantau dan memplot metrik di Amazon. CloudWatch Untuk informasi, lihat CloudWatch Metrik Amazon untuk Memantau dan Menganalisis Pekerjaan Pelatihan. Untuk setiap metrik, berikan informasi berikut:

      1. Untuk nama Metrik, ketikkan nama untuk metrik.

      2. UntukRegex, ketik ekspresi reguler yang SageMaker digunakan untuk mengurai log pelatihan sehingga dapat menemukan nilai metrik.

      3. Untuk dukungan metrik Objective pilih Yes jika metrik ini dapat digunakan sebagai metrik objektif untuk pekerjaan tuning hyperparameter. Untuk informasi, lihat Penyetelan model otomatis dengan SageMaker.

      4. Pilih Tambahkan metrik untuk menambahkan metrik lain, atau pilih Berikutnya jika Anda selesai menambahkan metrik.

6. Pada halaman spesifikasi Inferensi, berikan informasi berikut jika algoritme Anda mendukung inferensi:

   1. Untuk Lokasi gambar inferensi, ketik jalur di Amazon ECR tempat wadah inferensi Anda disimpan.

   2. Untuk nama DNS host Container, ketikkan nama DNS host untuk gambar Anda.

   3. Untuk tipe instans yang Didukung untuk inferensi waktu nyata, pilih jenis instans yang didukung algoritme Anda untuk model yang digunakan sebagai titik akhir yang dihosting. SageMaker Untuk informasi, lihat Menyebarkan model untuk inferensi.

   4. Untuk tipe instans yang didukung untuk pekerjaan transformasi batch, pilih jenis instans yang didukung algoritme Anda untuk pekerjaan transformasi batch. Untuk informasi, lihat Transformasi Batch untuk inferensi dengan Amazon SageMaker.

   5. Untuk jenis konten yang didukung, ketikkan jenis data input yang diharapkan algoritme Anda untuk permintaan inferensi.

   6. Untuk MIMEtipe respons yang didukung, ketikkan MIME tipe yang didukung algoritme Anda untuk respons inferensi.

   7. Pilih Berikutnya.

7. Pada halaman spesifikasi Validasi, berikan informasi berikut:

   1. Untuk Publikasikan algoritma ini AWS Marketplace, pilih Ya untuk mempublikasikan algoritme AWS Marketplace.

   2. Untuk Validasi sumber daya ini, pilih Ya jika Anda SageMaker ingin menjalankan pekerjaan pelatihan dan/atau pekerjaan transformasi batch yang Anda tentukan untuk menguji pelatihan dan/atau kode inferensi algoritme Anda.

      catatan

      Untuk mempublikasikan algoritme Anda AWS Marketplace, algoritme Anda harus divalidasi.

   3. Untuk IAMperan, pilih IAM peran yang memiliki izin yang diperlukan untuk menjalankan pekerjaan pelatihan dan mengubah pekerjaan secara batch SageMaker, atau pilih Buat peran baru SageMaker untuk memungkinkan membuat peran yang memiliki kebijakan AmazonSageMakerFullAccess terkelola yang dilampirkan. Untuk informasi, lihat Cara menggunakan peran SageMaker eksekusi.

   4. Untuk profil Validasi, tentukan yang berikut ini:

      • Nama untuk profil validasi.

      • Definisi pekerjaan Pelatihan. Ini adalah JSON blok yang menggambarkan pekerjaan pelatihan. Ini dalam format yang sama dengan parameter TrainingJobDefinitioninput dari file CreateAlgorithmAPI.

      • Definisi pekerjaan Transform. Ini adalah JSON blok yang menjelaskan pekerjaan transformasi batch. Ini dalam format yang sama dengan parameter TransformJobDefinitioninput dari file CreateAlgorithmAPI.

   5. Pilih Buat algoritma.

Buat Sumber Daya Algoritma (API)

Untuk membuat sumber daya algoritme dengan menggunakan SageMaker API, panggil file CreateAlgorithmAPI.