SUS05-BP04 Mengoptimalkan penggunaan akselerator komputasi berbasis perangkat keras
Optimalkan penggunaan instans komputasi terakselerasi Anda untuk mengurangi permintaan infrastruktur fisik beban kerja Anda.
Antipola umum:
-
Anda tidak memantau penggunaan GPU.
-
Anda menggunakan instans tujuan umum untuk beban kerja, padahal instans yang dibuat khusus dapat menghadirkan kinerja lebih tinggi, biaya lebih rendah, dan kinerja per watt yang lebih baik.
-
Anda menggunakan akselerator komputasi berbasis perangkat keras untuk tugas yang akan lebih efisien jika menggunakan alternatif berbasis CPU.
Manfaat menjalankan praktik terbaik ini: Dengan mengoptimalkan penggunaan akselerator berbasis perangkat keras, Anda dapat mengurangi permintaan infrastruktur fisik untuk beban kerja Anda.
Tingkat risiko yang terjadi jika praktik terbaik ini tidak dijalankan: Sedang
Panduan implementasi
Jika Anda memerlukan kemampuan pemrosesan tinggi, Anda dapat memanfaatkan instans komputasi terakselerasi, yang menyediakan akses ke akselerator komputasi berbasis perangkat keras seperti unit pemrosesan grafis (GPU) dan field programmable gate array (FPGA). Akselerator perangkat keras ini menjalankan fungsi-fungsi tertentu seperti pemrosesan grafis atau pencocokan pola data secara lebih efisien daripada alternatif berbasis CPU. Banyak beban kerja yang terakselerasi, seperti perenderan, transkode, dan machine learning, memiliki variabel tinggi sehubungan dengan penggunaan sumber daya. Jalankan perangkat keras ini hanya ketika diperlukan, dan nonaktifkan instans GPU secara otomatis saat tidak diperlukan, guna meminimalkan sumber daya yang digunakan.
Langkah implementasi
-
Identifikasi instans komputasi terakselerasi mana yang dapat menangani persyaratan Anda.
-
Untuk beban kerja machine learning, manfaatkan perangkat keras yang dibuat khusus untuk beban kerja Anda, seperti AWS Trainium
, AWS Inferentia , dan Amazon EC2 DL1 . Instans AWS Inferentia seperti Inf2 menawarkan kinerja per watt hingga 50% lebih baik daripada instans berbasis Amazon EC2 yang setara . -
Kumpulkan metrik penggunaan untuk instans komputasi terakselerasi Anda. Sebagai contoh, Anda dapat menggunakan agen CloudWatch untuk mengumpulkan metrik-metrik seperti
utilization_gpu
danutilization_memory
untuk GPU Anda sebagaimana terlihat dalam Mengumpulkan metrik GPU NVIDIA dengan Amazon CloudWatch. -
Optimalkan kode, operasi jaringan, dan pengaturan akselerator perangkat keras untuk memastikan perangkat keras yang mendasarinya dimanfaatkan sepenuhnya.
-
Gunakan driver GPU dan pustaka berkinerja tinggi terbaru.
-
Gunakan otomatisasi untuk melepaskan instans GPU ketika tidak digunakan.
Sumber daya
Dokumen terkait:
Video terkait:
-
AWS re:Invent 2021 - How to select Amazon EC2 GPU instances for deep learning
-
AWS Online Tech Talks - Deploying Cost-Effective Deep Learning Inference
-
AWS re:Invent 2022 - [NEW LAUNCH!] Introducing AWS Inferentia2-based Amazon EC2 Inf2 instances
-
AWS re:Invent 2022 - Accelerate deep learning and innovate faster with AWS Trainium
-
AWS re:Invent 2022 - Deep learning on AWS with NVIDIA: From training to deployment