Buat Sumber Daya Algoritma

Anda dapat membuat sumber daya algoritme untuk digunakan dengan pekerjaan pelatihan di Amazon SageMaker AI, dan Anda dapat mempublikasikannya AWS Marketplace. Bagian berikut menjelaskan cara melakukannya menggunakan AWS Management Console dan SageMaker API.

Untuk membuat sumber daya algoritma, Anda menentukan informasi berikut:

• Kontainer Docker yang berisi pelatihan dan, secara opsional, kode inferensi.

• Konfigurasi data input yang diharapkan algoritme Anda untuk pelatihan.

• Hyperparameter yang didukung oleh algoritme Anda.

• Metrik yang dikirimkan algoritme Anda ke Amazon CloudWatch selama pekerjaan pelatihan.

• Jenis instans yang didukung algoritme Anda untuk pelatihan dan inferensi, dan apakah itu mendukung pelatihan terdistribusi di beberapa instance.

• Profil validasi, yang merupakan pekerjaan pelatihan yang digunakan SageMaker AI untuk menguji kode pelatihan algoritme Anda dan pekerjaan transformasi batch yang dijalankan SageMaker AI untuk menguji kode inferensi algoritme Anda.

  Untuk memastikan bahwa pembeli dan penjual dapat yakin bahwa produk bekerja di SageMaker AI, kami mengharuskan Anda memvalidasi algoritme Anda sebelum mencantumkannya. AWS Marketplace Anda dapat membuat daftar produk AWS Marketplace hanya jika validasi berhasil. Untuk memvalidasi algoritme Anda, SageMaker AI menggunakan profil validasi dan data sampel Anda untuk menjalankan tugas validasi berikut:

  1. Buat pekerjaan pelatihan di akun Anda untuk memverifikasi bahwa gambar pelatihan Anda berfungsi dengan SageMaker AI.

  2. Jika Anda menyertakan kode inferensi dalam algoritme Anda, buat model di akun Anda menggunakan gambar inferensi algoritme dan artefak model yang dihasilkan oleh pekerjaan pelatihan.

  3. Jika Anda menyertakan kode inferensi dalam algoritme Anda, buat pekerjaan transformasi di akun Anda menggunakan model untuk memverifikasi bahwa gambar inferensi Anda berfungsi dengan SageMaker AI.

  Saat Anda mencantumkan produk Anda AWS Marketplace, input dan output dari proses validasi ini tetap ada sebagai bagian dari produk Anda dan tersedia untuk pembeli Anda. Ini membantu pembeli memahami dan mengevaluasi produk sebelum mereka membelinya. Misalnya, pembeli dapat memeriksa data input yang Anda gunakan, output yang dihasilkan, dan log serta metrik yang dipancarkan oleh kode Anda. Semakin komprehensif spesifikasi validasi Anda, semakin mudah bagi pelanggan untuk mengevaluasi produk Anda.

  catatan

  Di profil validasi Anda, berikan hanya data yang ingin Anda paparkan secara publik.

  Validasi dapat memakan waktu hingga beberapa jam. Untuk melihat status pekerjaan di akun Anda, di konsol SageMaker AI, lihat halaman Training jobs dan Transform jobs. Jika validasi gagal, Anda dapat mengakses laporan pemindaian dan validasi dari konsol SageMaker AI. Jika ada masalah yang ditemukan, Anda harus membuat algoritma lagi.

  catatan

  Untuk mempublikasikan algoritme Anda AWS Marketplace, setidaknya diperlukan satu profil validasi.

Anda dapat membuat algoritme dengan menggunakan konsol SageMaker AI atau SageMaker AI API.

Membuat Sumber Daya Algoritma (Konsol)

Untuk membuat sumber daya algoritme (konsol)

1. Buka konsol SageMaker AI di https://console.aws.amazon.com/sagemaker/.

2. Dari menu sebelah kiri, pilih Pelatihan.

3. Dari menu dropdown, pilih Algoritma, lalu pilih Buat algoritma.

4. Pada halaman Spesifikasi Pelatihan, berikan informasi berikut:

   1. Untuk nama Algoritma, ketikkan nama untuk algoritme Anda. Nama algoritme harus unik di akun Anda dan di AWS wilayah tersebut. Nama harus memiliki 1 hingga 64 karakter. Karakter yang valid adalah a-z, A-Z, 0-9, dan - (tanda hubung).

   2. Ketik deskripsi untuk algoritme Anda. Deskripsi ini muncul di konsol SageMaker AI dan di AWS Marketplace.

   3. Untuk gambar Pelatihan, ketik jalur di Amazon ECR tempat wadah pelatihan Anda disimpan.

   4. Untuk pelatihan terdistribusi Support, Pilih Ya jika algoritme Anda mendukung pelatihan pada beberapa instance. Jika tidak, pilih Tidak.

   5. Untuk jenis instans Support untuk pelatihan, pilih jenis instans yang didukung algoritme Anda.

   6. Untuk spesifikasi Saluran, tentukan hingga 8 saluran data input untuk algoritme Anda. Misalnya, Anda dapat menentukan 3 saluran input bernamatrain,validation, dantest. Untuk setiap saluran, tentukan informasi berikut:

      1. Untuk nama Saluran, ketikkan nama untuk saluran tersebut. Nama harus memiliki 1 hingga 64 karakter. Karakter yang valid adalah a-z, A-Z, 0-9, dan - (tanda hubung).

      2. Untuk mewajibkan saluran untuk algoritme Anda, pilih Saluran yang diperlukan.

      3. Ketik deskripsi untuk saluran.

      4. Untuk mode input yang didukung, pilih mode Pipa jika algoritme Anda mendukung streaming data input, dan mode File jika algoritme Anda mendukung pengunduhan data input sebagai file. Anda dapat memilih keduanya.

      5. Untuk jenis konten yang didukung, ketik tipe MIME yang diharapkan algoritme untuk data masukan.

      6. Untuk jenis kompresi yang didukung, pilih Gzip jika algoritme Anda mendukung kompresi Gzip. Jika tidak, pilih Tidak ada.

      7. Pilih Tambah saluran untuk menambahkan saluran input data lain, atau pilih Berikutnya jika Anda selesai menambahkan saluran.

5. Pada halaman spesifikasi Tuning, berikan informasi berikut:

   1. Untuk spesifikasi Hyperparameter, tentukan hyperparameters yang didukung algoritme Anda dengan mengedit objek JSON. Untuk setiap hyperparameter yang didukung algoritme Anda, buat blok JSON yang mirip dengan yang berikut ini:

      {
      "DefaultValue": "5",
      "Description": "The first hyperparameter",
      "IsRequired": true,
      "IsTunable": false,
      "Name": "intRange",
      "Range": {
      "IntegerParameterRangeSpecification": {
      "MaxValue": "10",
      "MinValue": "1"
      },
      "Type": "Integer"
      }

      Di JSON, berikan yang berikut ini:

      1. UntukDefaultValue, tentukan nilai default untuk hyperparameter, jika ada.

      2. UntukDescription, tentukan deskripsi untuk hyperparameter.

      3. UntukIsRequired, tentukan apakah hyperparameter diperlukan.

      4. UntukIsTunable, tentukan true apakah hyperparameter ini dapat disetel saat pengguna menjalankan tugas tuning hyperparameter yang menggunakan algoritme ini. Untuk informasi, lihat Penyetelan model otomatis dengan AI SageMaker .

      5. UntukName, tentukan nama untuk hyperparameter.

      6. UntukRange, tentukan salah satu dari berikut ini:

         • IntegerParameterRangeSpecification- nilai hyperparameter adalah bilangan bulat. Tentukan nilai minimum dan maksimum untuk hyperparameter.

         • ContinuousParameterRangeSpecification- nilai hyperparameter adalah nilai floating-point. Tentukan nilai minimum dan maksimum untuk hyperparameter.

         • CategoricalParameterRangeSpecification- nilai hyperparameter adalah nilai kategoris. Tentukan daftar semua nilai yang mungkin.

      7. UntukType, tentukanInteger,Continuous, atauCategorical. Nilai harus sesuai dengan jenis Range yang Anda tentukan.

   2. Untuk definisi Metrik, tentukan metrik pelatihan apa pun yang Anda ingin algoritme Anda pancarkan. SageMaker AI menggunakan ekspresi reguler yang Anda tentukan untuk menemukan metrik dengan mengurai log dari wadah pelatihan Anda selama pelatihan. Pengguna dapat melihat metrik ini saat mereka menjalankan pekerjaan pelatihan dengan algoritme Anda, dan mereka dapat memantau dan memplot metrik di Amazon. CloudWatch Untuk informasi, lihat CloudWatch Metrik Amazon untuk Memantau dan Menganalisis Pekerjaan Pelatihan. Untuk setiap metrik, berikan informasi berikut:

      1. Untuk nama Metrik, ketikkan nama untuk metrik.

      2. UntukRegex, ketik ekspresi reguler yang digunakan SageMaker AI untuk mengurai log pelatihan sehingga dapat menemukan nilai metrik.

      3. Untuk dukungan metrik Objective pilih Yes jika metrik ini dapat digunakan sebagai metrik objektif untuk pekerjaan tuning hyperparameter. Untuk informasi, lihat Penyetelan model otomatis dengan AI SageMaker .

      4. Pilih Tambahkan metrik untuk menambahkan metrik lain, atau pilih Berikutnya jika Anda selesai menambahkan metrik.

6. Pada halaman spesifikasi Inferensi, berikan informasi berikut jika algoritme Anda mendukung inferensi:

   1. Untuk Lokasi gambar inferensi, ketik jalur di Amazon ECR tempat wadah inferensi Anda disimpan.

   2. Untuk nama host DNS Container, ketikkan nama host DNS untuk gambar Anda.

   3. Untuk tipe instans yang Didukung untuk inferensi waktu nyata, pilih jenis instans yang didukung algoritme Anda untuk model yang digunakan sebagai titik akhir yang dihosting di AI. SageMaker Untuk informasi, lihat Menyebarkan model untuk inferensi.

   4. Untuk tipe instans yang didukung untuk pekerjaan transformasi batch, pilih jenis instans yang didukung algoritme Anda untuk pekerjaan transformasi batch. Untuk informasi, lihat Transformasi Batch untuk inferensi dengan Amazon AI SageMaker .

   5. Untuk jenis konten yang didukung, ketikkan jenis data input yang diharapkan algoritme Anda untuk permintaan inferensi.

   6. Untuk tipe MIME respons yang didukung, ketik tipe MIME yang didukung algoritme Anda untuk respons inferensi.

   7. Pilih Berikutnya.

7. Pada halaman spesifikasi Validasi, berikan informasi berikut:

   1. Untuk Publikasikan algoritma ini AWS Marketplace, pilih Ya untuk mempublikasikan algoritme AWS Marketplace.

   2. Untuk Validasi sumber daya ini, pilih Ya jika Anda ingin SageMaker AI menjalankan kode and/or batch transform jobs that you specify to test the training and/or inferensi pekerjaan pelatihan algoritme Anda.

      catatan

      Untuk mempublikasikan algoritme Anda AWS Marketplace, algoritme Anda harus divalidasi.

   3. Untuk peran IAM, pilih peran IAM yang memiliki izin yang diperlukan untuk menjalankan pekerjaan pelatihan dan mengubah pekerjaan batch di SageMaker AI, atau pilih Buat peran baru untuk memungkinkan SageMaker AI membuat peran yang memiliki kebijakan AmazonSageMakerFullAccess terkelola yang dilampirkan. Untuk informasi, lihat Cara menggunakan peran eksekusi SageMaker AI.

   4. Untuk profil Validasi, tentukan yang berikut ini:

      • Nama untuk profil validasi.

      • Definisi pekerjaan Pelatihan. Ini adalah blok JSON yang menggambarkan pekerjaan pelatihan. Ini dalam format yang sama dengan parameter TrainingJobDefinitioninput CreateAlgorithmAPI.

      • Definisi pekerjaan Transform. Ini adalah blok JSON yang menjelaskan pekerjaan transformasi batch. Ini dalam format yang sama dengan parameter TransformJobDefinitioninput CreateAlgorithmAPI.

   5. Pilih Buat algoritma.

Buat Sumber Daya Algoritma (API)

Untuk membuat sumber daya algoritme dengan menggunakan SageMaker API, panggil CreateAlgorithmAPI.