Pelaporan penggunaan untuk atribusi biaya di SageMaker HyperPod

Pelaporan penggunaan dalam kluster yang SageMaker HyperPod diatur EKS memberikan visibilitas terperinci ke dalam konsumsi sumber daya komputasi. Kemampuan ini memungkinkan organisasi untuk menerapkan atribusi biaya yang transparan, mengalokasikan biaya klaster ke tim, proyek, atau departemen berdasarkan penggunaan aktual mereka. Dengan melacak metrik seperti GPU/CPU jam, dan pemanfaatan Inti Neuron - ditangkap dalam agregat tingkat tim dan gangguan khusus tugas - pelaporan penggunaan melengkapi fungsionalitas Tata Kelola Tugas, memastikan distribusi biaya yang adil dalam HyperPod klaster multi-penyewa bersama dengan:

• Menghilangkan dugaan dalam alokasi biaya

• Menghubungkan pengeluaran secara langsung dengan konsumsi sumber daya yang terukur

• Menegakkan akuntabilitas berbasis penggunaan di lingkungan infrastruktur bersama

Prasyarat

Untuk menggunakan kemampuan ini:

• Anda membutuhkan:

  • SageMaker HyperPod Lingkungan aktif dengan cluster yang diatur EKS yang sedang berjalan.

  • (Sangat disarankan) Tata Kelola Tugas dikonfigurasi dengan kuota komputasi dan aturan prioritas. Untuk petunjuk penyiapan, lihat Pengaturan Tata Kelola Tugas.

• Biasakan diri Anda dengan konsep-konsep inti ini:

  • Kuota komputasi yang dialokasikan: Sumber daya yang disediakan untuk tim berdasarkan kuota yang telah ditentukan dalam kebijakan Tata Kelola Tugas mereka. Ini dijamin kapasitas untuk beban kerja mereka.

  • Komputasi yang dipinjam: Sumber daya idle dari kumpulan cluster bersama yang dapat digunakan sementara tim di luar kuota yang dialokasikan. Komputasi yang dipinjam ditetapkan secara dinamis berdasarkan aturan prioritas dalam kebijakan Tata Kelola Tugas dan ketersediaan sumber daya yang tidak digunakan.

  • Penggunaan komputasi: Pengukuran sumber daya (GPU, CPU, jam Neuron Core) yang dikonsumsi oleh tim, dilacak sebagai:

    • Pemanfaatan yang dialokasikan: Penggunaan dalam kuota tim.

    • Pemanfaatan yang dipinjam: Penggunaan di luar kuota, diambil dari kolam bersama.

  • Atribusi biaya: Proses mengalokasikan biaya klaster ke tim berdasarkan penggunaan komputasi aktual mereka, termasuk kedua sumber daya yang dikonsumsi dalam kuota yang telah ditentukan sebelumnya dan sumber daya yang digunakan sementara dari kumpulan cluster bersama di luar kuota mereka.

Tipe Laporan

HyperPodLaporan penggunaan memberikan perincian operasional yang bervariasi:

• Laporan ringkasan memberikan visibilitas seluruh organisasi ke dalam penggunaan komputasi, menggabungkan total jam GPU/CPU/Neuron Core per tim (namespace) sambil membedakan antara penggunaan reguler (sumber daya dari kuota yang dialokasikan tim) dan komputasi pinjaman (kapasitas luapan dari kumpulan bersama).

• Laporan terperinci menawarkan rincian tingkat tugas menurut tim, melacak jam komputasi tepat yang dihabiskan untuk menjalankan tugas tertentu — termasuk tugas yang dipreempt, pola pemanfaatan per jam, dan alokasi khusus ruang nama.

penting

HyperPod pelaporan penggunaan melacak pemanfaatan komputasi di semua ruang nama Kubernetes dalam sebuah cluster—termasuk yang dikelola oleh Task Governance, namespace default, dan namespace yang dibuat di luar Task Governance (misalnya, melalui panggilan API Kubernetes langsung atau alat eksternal). Pemantauan tingkat infrastruktur ini memastikan akuntabilitas berbasis penggunaan yang komprehensif, mencegah kesenjangan dalam atribusi biaya untuk cluster bersama terlepas dari bagaimana ruang nama dikelola.

Format laporan dan rentang waktu

Dengan menggunakan skrip Python yang disediakanBuat laporan., administrator dapat menghasilkan laporan penggunaan sesuai permintaan dalam format CSV atau PDF, memilih rentang waktu dari snapshot harian hingga jendela historis 180 hari (6 bulan).

catatan

Anda dapat mengonfigurasi jendela historis untuk melampaui batas maksimum 180 hari default saat menyiapkan infrastruktur pelaporan. Untuk informasi selengkapnya tentang mengonfigurasi periode penyimpanan data, lihat Menginstal Infrastruktur Laporan Penggunaan menggunakan CloudFormation.

Kasus penggunaan ilustratif

Kemampuan ini membahas skenario penting di AI/ML lingkungan multi-penyewa seperti:

1. Alokasi biaya untuk cluster bersama: Administrator mengelola HyperPod cluster yang dibagikan oleh 20 tim yang melatih model AI generatif. Menggunakan laporan penggunaan ringkasan, mereka menganalisis pemanfaatan GPU harian selama 180 hari dan menemukan Tim A menghabiskan 200 jam GPU dari jenis instans tertentu—170 dari kuota yang dialokasikan dan 30 dari komputasi pinjaman. Administrator menagih Tim A berdasarkan penggunaan yang dilaporkan ini.

2. Audit dan penyelesaian sengketa: Tim keuangan mempertanyakan akurasi atribusi biaya, dengan alasan ketidakkonsistenan. Administrator dapat mengekspor laporan tingkat tugas terperinci untuk mengaudit perbedaan. Dengan mereferensikan silang stempel waktu, jenis instans, dan pekerjaan yang didahului dalam namespace tim, laporan secara transparan merekonsiliasi data penggunaan yang disengketakan.