Arsitektur Amazon SageMaker Debugger

Topik ini memandu Anda melalui ikhtisar tingkat tinggi dari alur kerja Amazon SageMaker Debugger.

Debugger mendukung fungsionalitas pembuatan profil untuk optimasi kinerja guna mengidentifikasi masalah komputasi, seperti kemacetan sistem dan kurangnya pemanfaatan, dan untuk membantu mengoptimalkan pemanfaatan sumber daya perangkat keras dalam skala besar.

Fungsionalitas debugger debugging untuk optimasi model adalah tentang menganalisis masalah pelatihan non-konvergen yang dapat muncul sambil meminimalkan fungsi kerugian menggunakan algoritma pengoptimalan, seperti penurunan gradien dan variasinya.

Diagram berikut menunjukkan arsitektur SageMaker Debugger. Blok dengan garis batas tebal adalah apa yang Debugger kelola untuk menganalisis pekerjaan pelatihan Anda.

Debugger menyimpan data berikut dari pekerjaan pelatihan Anda di bucket Amazon S3 Anda yang aman:

• Tensor keluaran — Koleksi skalar dan parameter model yang terus diperbarui selama lintasan maju dan mundur saat melatih model ML. Tensor keluaran mencakup nilai skalar (akurasi dan kerugian) dan matriks (bobot, gradien, lapisan input, dan lapisan keluaran).

  catatan

  Secara default, Debugger memantau dan men-debug pekerjaan SageMaker pelatihan tanpa parameter khusus Debugger yang dikonfigurasi dalam estimator. SageMaker Debugger mengumpulkan metrik sistem setiap 500 milidetik dan tensor keluaran dasar (output skalar seperti kehilangan dan akurasi) setiap 500 langkah. Ini juga menjalankan ProfilerReport aturan untuk menganalisis metrik sistem dan menggabungkan dasbor wawasan Studio Debugger dan laporan pembuatan profil. Debugger menyimpan data keluaran di bucket Amazon S3 Anda yang aman.

Aturan bawaan Debugger dijalankan pada container pemrosesan, yang dirancang untuk mengevaluasi model pembelajaran mesin dengan memproses data pelatihan yang dikumpulkan di bucket S3 Anda (lihat Data Proses dan Evaluasi Model). Aturan bawaan sepenuhnya dikelola oleh Debugger. Anda juga dapat membuat aturan sendiri yang disesuaikan dengan model Anda untuk melihat masalah apa pun yang ingin Anda pantau.