Menggunakan GPU

Anda dapat mengakses prosesor grafis (GPU) di AWS Panorama Appliance untuk menggunakan library yang dipercepat GPU, atau menjalankan model machine learning dalam kode aplikasi Anda. Untuk mengaktifkan akses GPU, Anda menambahkan akses GPU sebagai persyaratan ke konfigurasi paket setelah membuat kontainer kode aplikasi.

penting

Jika Anda mengaktifkan akses GPU, Anda tidak dapat menjalankan node model dalam aplikasi apa pun di alat. Untuk tujuan keamanan, akses GPU dibatasi saat alat menjalankan model yang dikompilasi dengan SageMaker Neo. Dengan akses GPU, Anda harus menjalankan model Anda di node kode aplikasi, dan semua aplikasi pada perangkat berbagi akses ke GPU.

Untuk mengaktifkan akses GPU untuk aplikasi Anda, perbarui konfigurasi paket setelah Anda membangun paket dengan AWS Panorama Application CLI. Contoh berikut menunjukkan requirements blok yang menambahkan akses GPU ke node kode aplikasi.

contoh package.json dengan persyaratan blok

{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

Perbarui konfigurasi paket antara langkah pembuatan dan pengemasan dalam alur kerja pengembangan Anda.

Menyebarkan aplikasi dengan akses GPU

1. Untuk membangun wadah aplikasi, gunakan build-container perintah.

   $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

2. Tambahkan requirements blok ke konfigurasi paket.

3. Untuk mengunggah aset kontainer dan konfigurasi paket, gunakan package-application perintah.

   $ panorama-cli package-application

4. Men-deploy aplikasi.

Untuk contoh aplikasi yang menggunakan akses GPU, kunjungi aws-panorama-samplesGitHubrepositori.