SUS05-BP04 Mengoptimalkan penggunaan akselerator komputasi berbasis perangkat keras

Optimalkan penggunaan instans komputasi terakselerasi Anda untuk mengurangi permintaan infrastruktur fisik beban kerja Anda.

Antipola umum:

• Anda tidak memantau penggunaan GPU.

• Anda menggunakan instans tujuan umum untuk beban kerja, padahal instans yang dibuat khusus dapat menghadirkan kinerja lebih tinggi, biaya lebih rendah, dan kinerja per watt yang lebih baik.

• Anda menggunakan akselerator komputasi berbasis perangkat keras untuk tugas yang akan lebih efisien jika menggunakan alternatif berbasis CPU.

Manfaat menjalankan praktik terbaik ini: Dengan mengoptimalkan penggunaan akselerator berbasis perangkat keras, Anda dapat mengurangi permintaan infrastruktur fisik untuk beban kerja Anda.

Tingkat risiko yang terjadi jika praktik terbaik ini tidak dijalankan: Sedang

Panduan implementasi

Jika Anda memerlukan kemampuan pemrosesan tinggi, Anda dapat memanfaatkan instans komputasi terakselerasi, yang menyediakan akses ke akselerator komputasi berbasis perangkat keras seperti unit pemrosesan grafis (GPU) dan field programmable gate array (FPGA). Akselerator perangkat keras ini menjalankan fungsi-fungsi tertentu seperti pemrosesan grafis atau pencocokan pola data secara lebih efisien daripada alternatif berbasis CPU. Banyak beban kerja yang terakselerasi, seperti perenderan, transkode, dan machine learning, memiliki variabel tinggi sehubungan dengan penggunaan sumber daya. Jalankan perangkat keras ini hanya ketika diperlukan, dan nonaktifkan instans GPU secara otomatis saat tidak diperlukan, guna meminimalkan sumber daya yang digunakan.

Langkah implementasi

• Identifikasi instans komputasi terakselerasi mana yang dapat menangani persyaratan Anda.

• Untuk beban kerja machine learning, manfaatkan perangkat keras yang dibuat khusus untuk beban kerja Anda, seperti AWS Trainium, AWS Inferentia, dan Amazon EC2 DL1. Instans AWS Inferentia seperti Inf2 menawarkan kinerja per watt hingga 50% lebih baik daripada instans berbasis Amazon EC2 yang setara.

• Kumpulkan metrik penggunaan untuk instans komputasi terakselerasi Anda. Sebagai contoh, Anda dapat menggunakan agen CloudWatch untuk mengumpulkan metrik-metrik seperti utilization_gpu dan utilization_memory untuk GPU Anda sebagaimana terlihat dalam Mengumpulkan metrik GPU NVIDIA dengan Amazon CloudWatch.

• Optimalkan kode, operasi jaringan, dan pengaturan akselerator perangkat keras untuk memastikan perangkat keras yang mendasarinya dimanfaatkan sepenuhnya.

  • Optimalkan pengaturan GPU

  • Pemantauan dan Pengoptimalan GPU dalam AMI Deep Learning

  • Mengoptimalkan I/O untuk penyetelan kinerja GPU pelatihan deep learning di Amazon SageMaker

• Gunakan driver GPU dan pustaka berkinerja tinggi terbaru.

• Gunakan otomatisasi untuk melepaskan instans GPU ketika tidak digunakan.

Sumber daya

Dokumen terkait:

• Komputasi Terakselerasi

• Mari Merancang! Merancang dengan chip dan akselerator kustom

• Bagaimana cara memilih tipe instans Amazon EC2 yang tepat untuk beban kerja saya?

• Instans Amazon EC2 VT1

• Pilih akselerator AI dan kompilasi model terbaik untuk inferensi penglihatan komputer dengan Amazon SageMaker

Video terkait:

• AWS re:Invent 2021 - How to select Amazon EC2 GPU instances for deep learning

• AWS Online Tech Talks - Deploying Cost-Effective Deep Learning Inference

• AWS re:Invent 2023 - Cutting-edge AI with AWS and NVIDIA

• AWS re:Invent 2022 - [NEW LAUNCH!] Introducing AWS Inferentia2-based Amazon EC2 Inf2 instances

• AWS re:Invent 2022 - Accelerate deep learning and innovate faster with AWS Trainium

• AWS re:Invent 2022 - Deep learning on AWS with NVIDIA: From training to deployment