SageMaker Edge Manager - AWS IoT Greengrass

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

SageMaker Edge Manager

Amazon SageMaker Komponen Edge Manageraws.greengrass.SageMakerEdgeManager) Menginstal SageMaker Edge Manajer agen biner.

SageMaker Edge Manager menyediakan manajemen model untuk perangkat edge sehingga Anda dapat mengoptimalkan, mengamankan, memantau, dan memelihara model machine learning pada armada perangkat edge. Klaster SageMaker Komponen Edge Manager menginstal dan mengelola siklus hidup SageMaker Edge Manager pada perangkat inti Anda. Anda juga dapat menggunakan SageMaker Edge Manager untuk mengemas dan menggunakan SageMaker Model yang dikompilasi NEO sebagai komponen model pada perangkat inti Greengrass. Untuk informasi lebih lanjut tentang penggunaan SageMaker Agen Edge Manager pada perangkat inti Anda, lihatGunakan Amazon SageMaker Edge Manager pada perangkat inti Greengrass.

SageMaker Komponen Edge Manager v1.3.x menginstal agen Edge Manager v1.20220822.836f3023. Untuk informasi lebih lanjut tentang agen Edge Manager versi biner, lihat Agen Manajer Edge.

catatan

Klaster SageMaker Komponen Edge Manager hanya tersedia di:Wilayah AWS:

  • AS Timur (Ohio)

  • US East (N. Virginia)

  • US West (Oregon)

  • EU (Frankfurt)

  • EU (Ireland)

  • Asia Pacific (Tokyo)

Versi

Komponen ini memiliki versi berikut:

  • 1.3.x

  • 1.2.x

  • 1.x

  • 1.0.x

Tipe

Inikomponen adalah komponen generik (aws.greengrass.generic). KlasterInti Greengrassmenjalankan skrip siklus hidup komponen.

Untuk informasi selengkapnya, lihat Jenis komponen.

Sistem operasi

Komponen ini dapat diinstal pada perangkat inti yang menjalankan sistem operasi berikut:

  • Linux

  • Windows

Persyaratan

Komponen ini memiliki persyaratan sebagai berikut:

  • Perangkat inti Greengrass yang berjalan pada Amazon Linux 2, platform Linux berbasis Debian (x86_64 atau Armv8), atau Windows (x86_64). Jika Anda tidak memilikinya, lihat Tutorial: Memulai dengan AWS IoT Greengrass V2.

  • Python 3.6 atau yang lebih baru, termasuk pip untuk versi Python Anda, diinstal pada perangkat inti anda.

  • Peran perangkat Greengrass yang dikonfigurasi dengan berikut ini:

    • Hubungan kepercayaan yang memungkinkan credentials.iot.amazonaws.com dan sagemaker.amazonaws.com untuk meneruskan peran, seperti yang ditunjukkan dalam contoh kebijakan IAM berikut.

      { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "credentials.iot.amazonaws.com" }, "Action": "sts:AssumeRole" }, { "Effect": "Allow", "Principal": { "Service": "sagemaker.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }
    • KlasterAmazonSageMakerEdgeDeviceFleetPolicyKebijakan yang dikelola IAM.

    • Tindakan s3:PutObject, seperti yang ditunjukkan dalam contoh kebijakan IAM berikut.

      { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:PutObject" ], "Resource": [ "*" ], "Effect": "Allow" } ] }
  • Bucket Amazon S3 yang dibuat diAkun AWSdanWilayah AWSsebagai perangkat inti Greengrass Anda. SageMaker Edge Manager memerlukan bucket S3 untuk membuat armada perangkat edge, dan untuk menyimpan data sampel agar tidak menjalankan inferensi pada perangkat Anda. Untuk informasi selengkapnya tentang pembuatan bucket S3, lihat Memulai Amazon S3.

  • SEBUAH SageMaker armada perangkat tepi yang menggunakan yang samaAWS IoTalias peran sebagai perangkat inti Greengrass Anda. Untuk informasi selengkapnya, lihat Buat armada perangkat edge.

  • Perangkat inti Greengrass Anda terdaftar sebagai perangkat edge di SageMaker Armada perangkat edge. Nama perangkat edge harus cocok dengan nama objek AWS IoT untuk perangkat inti Anda. Untuk informasi selengkapnya, lihat Daftarkan perangkat inti Greengrass Anda.

Titik akhir dan port

Komponen ini harus dapat melakukan permintaan keluar ke titik akhir dan port berikut, selain titik akhir dan port yang diperlukan untuk operasi dasar. Untuk informasi selengkapnya, lihat Izinkan lalu lintas perangkat melalui proxy atau firewall.

Titik Akhir Port Diperlukan Deskripsi

edge.sagemaker.region.amazonaws.com

443 Ya

Periksa status pendaftaran perangkat dan kirim metrik ke SageMaker.

*.s3.amazonaws.com

443 Ya

Unggah data tangkapan ke bucket S3 yang Anda tentukan.

Anda dapat mengganti*dengan nama setiap bucket tempat Anda mengunggah data.

Dependensi

Saat Anda men-deploy komponen, AWS IoT Greengrass juga men-deploy versi dependensinya yang kompatibel. Ini berarti bahwa Anda harus memenuhi persyaratan untuk komponen dan semua dependensinya untuk berhasil men-deploy komponen. Bagian ini berisi daftar dependensi untuk versi yang dirilis dari komponen ini dan kendala versi semantik yang menentukan versi komponen untuk setiap dependensi. Anda juga dapat melihat dependensi untuk setiap versi komponen di konsol AWS IoT Greengrass tersebut. Pada halaman detail komponen, cari daftar Dependensi.

1.1.1, 1.2.0, 1.3.0

Tabel berikut mencantumkan dependensi untuk versi 1.1.1, 1.2.0, dan 1.3.0 komponen ini.

Dependensi Versi yang kompatibel Jenis dependensi
Inti Greengrass >=2.0.0 Lunak
Layanan pertukaran token >=0.0.0 Keras
1.1.0

Tabel berikut mencantumkan dependensi untuk versi 1.1.0 komponen ini.

Dependensi Versi yang kompatibel Jenis dependensi
Inti Greengrass >=2.0.0 Lunak
Layanan pertukaran token >=0.0.0 Keras
1.0.3

Tabel berikut mencantumkan dependensi untuk versi 1.0.3 komponen ini.

Dependensi Versi yang kompatibel Jenis dependensi
Inti Greengrass >=2.0.0 Lunak
Layanan pertukaran token >=0.0.0 Keras
1.0.1 and 1.0.2

Tabel berikut mencantumkan dependensi untuk versi 1.0.1 dan 1.0.2 komponen ini.

Dependensi Versi yang kompatibel Jenis dependensi
Inti Greengrass >=2.0.0 <2.4.0 Lunak
Layanan pertukaran token >=0.0.0 Keras
1.0.0

Tabel berikut mencantumkan dependensi untuk versi 1.0.0 komponen ini.

Dependensi Versi yang kompatibel Jenis dependensi
Inti Greengrass >=2.0.0 <2.3.0 Lunak
Layanan pertukaran token >=0.0.0 Keras

Untuk informasi selengkapnya tentang dependensi komponen, lihat referensi resep komponen.

Konfigurasi

Komponen ini menyediakan parameter konfigurasi berikut yang dapat Anda sesuaikan ketika Anda men-deploy komponen.

catatan

Bagian ini menjelaskan parameter konfigurasi yang Anda tetapkan dalam komponen. Untuk informasi lebih lanjut tentang yang sesuai SageMaker Konfigurasi Edge Manager, lihatEdge Managerdi dalamAmazon SageMaker Panduan Pengembang.

DeviceFleetName

Nama SageMaker Armada perangkat Edge Manager yang berisi perangkat inti Greengrass Anda.

Anda harus menentukan nilai untuk parameter ini dalam pembaruan konfigurasi ketika Anda men-deploy komponen ini.

BucketName

Nama bucket S3 yang padanya Anda unggah data inferensi yang ditangkap. Nama bucket harus berisi string sagemaker.

Jika Anda mengatur CaptureDataDestination ke Cloud, atau jika Anda mengatur CaptureDataPeriodicUpload ke true, Anda harus menentukan nilai untuk parameter ini di pembaruan konfigurasi saat Anda men-deploy komponen ini.

catatan

Capture data adalah SageMaker fitur yang Anda gunakan untuk meng-upload masukan inferensi, hasil inferensi, dan data inferensi tambahan ke bucket S3 atau direktori lokal untuk analisis future. Untuk informasi lebih lanjut tentang penggunaan data tangkapan dengan SageMaker Edge ManagerMengelola Modeldi dalamAmazon SageMaker Panduan Pengembang.

CaptureDataBatchSize

(Opsional) Ukuran batch permintaan data tangkapan yang ditangani agen. Nilai ini harus lebih kecil dari ukuran buffer yang Anda tentukan di CaptureDataBufferSize. Kami merekomendasikan agar Anda tidak melebihi setengah ukuran buffer.

Agen menangani batch permintaan ketika jumlah permintaan dalam buffer memenuhi jumlah CaptureDataBatchSize, atau ketika interval CaptureDataPushPeriodSeconds berlalu, mana yang terjadi lebih dahulu.

Default: 10

CaptureDataBufferSize

(Opsional) Jumlah maksimum permintaan data tangkapan yang disimpan dalam buffer.

Default: 30

CaptureDataDestination

(Opsional) Tujuan di mana Anda menyimpan data yang diambil. Parameter ini dapat memiliki nilai berikut:

  • Cloud—Mengunggah data yang ditangkap ke bucket S3 yang Anda tentukan di BucketName.

  • Disk—Menuliskan data yang ditangkap pada direktori kerja komponen.

Jika Anda menentukan Disk, Anda juga dapat memilih untuk mengunggah data yang diambil secara berkala ke bucket S3 dengan menetapkan CaptureDataPeriodicUpload ke true.

Default: Cloud

CaptureDataPeriodicUpload

(Opsional) Nilai string yang menentukan apakah akan secara berkala meng-upload data yang ditangkap. Nilai yang didukung adalah true dan false.

Atur parameter ini ke true jika Anda mengatur CaptureDataDestination ke Disk, dan Anda juga ingin agen untuk secara berkala meng-upload data yang diambil bucket S3 Anda.

Default: false

CaptureDataPeriodicUploadPeriodSeconds

(Opsional) Interval dalam detik di mana SageMaker Agen Edge Manager mengunggah data yang ditangkap ke bucket S3. Gunakan parameter ini jika Anda mengatur CaptureDataPeriodicUpload ke true.

Default: 8

CaptureDataPushPeriodSeconds

(Opsional) Interval dalam detik di mana SageMaker Agen Edge Manager menangani batch permintaan data tangkapan dari buffer.

Agen menangani batch permintaan ketika jumlah permintaan dalam buffer memenuhi jumlah CaptureDataBatchSize, atau ketika interval CaptureDataPushPeriodSeconds berlalu, mana yang terjadi lebih dahulu.

Default: 4

CaptureDataBase64EmbedLimit

(Opsional) Ukuran maksimum dalam byte data yang ditangkap itu SageMaker Edge Manager agen upload.

Default: 3072

FolderPrefix

(Opsional) Nama folder tempat agen menulis data yang ditangkap. Jika Anda mengaturCaptureDataDestinationkepadaDisk, agen menciptakan folder dalam direktori yang ditentukan olehCaptureDataDiskPath. Jika Anda mengatur CaptureDataDestination ke Cloud, atau jika Anda mengatur CaptureDataPeriodicUpload ke true, agen akan membuat folder di bucket S3 Anda.

Default: sme-capture

CaptureDataDiskPath

Fitur ini tersedia di v1.1.0 dan versi kemudian dari SageMaker Komponen Edge Manager.

(Opsional) Path ke folder tempat agen membuat folder data yang ditangkap. Jika Anda mengaturCaptureDataDestinationkepadaDisk, agen menciptakan folder data yang diambil dalam direktori ini. Jika Anda tidak menentukan nilai ini, agen akan membuat folder data yang ditangkap dalam direktori kerja komponen. GunakanFolderPrefixparameter untuk menentukan nama folder data yang diambil.

Default: /greengrass/v2/work/aws.greengrass.SageMakerEdgeManager/capture

LocalDataRootPath

Fitur ini tersedia di v1.2.0 dan versi kemudian dari SageMaker Komponen Edge Manager.

(Opsional) Jalur tempat komponen ini menyimpan data berikut pada perangkat inti:

  • Database lokal untuk data runtime saat Anda mengaturDbEnablekepadatrue.

  • SageMaker Model neo-compile yang secara otomatis diunduh komponen ini saat Anda menyetelDeploymentEnablekepadatrue.

Default: /greengrass/v2/work/aws.greengrass.SageMakerEdgeManager

DbEnable

(Opsional) Anda dapat mengaktifkan komponen ini untuk menyimpan data runtime dalam database lokal untuk menyimpan data, jika komponen gagal atau perangkat kehilangan daya.

Database ini membutuhkan 5 MB penyimpanan pada sistem file perangkat inti.

Default: false

DeploymentEnable

Fitur ini tersedia di v1.2.0 dan versi kemudian dari SageMaker Komponen Edge Manager.

(Opsional) Anda dapat mengaktifkan komponen ini untuk secara otomatis mengambil SageMaker Model yang dikompilasi NEO dari yang Anda unggah ke Amazon S3. Setelah Anda mengunggah model baru ke Amazon S3, gunakan SageMakerStudio atau SageMaker API untuk menyebarkan model baru ke perangkat inti ini. Saat Anda mengaktifkan fitur ini, Anda dapat menerapkan model baru ke perangkat inti tanpa perlu membuatAWS IoT Greengrassdeployment

penting

Untuk menggunakan fitur ini, Anda harus mengaturDbEnablekepadatrue. Fitur ini menggunakan database lokal untuk melacak model yang diambil dariAWS Cloud.

Default: false

DeploymentPollInterval

Fitur ini tersedia di v1.2.0 dan versi kemudian dari SageMaker Komponen Edge Manager.

(Opsional) Jumlah waktu (dalam menit) yang di antaranya komponen ini memeriksa model baru yang akan diunduh. Opsi ini berlaku ketika Anda mengaturDeploymentEnablekepadatrue.

Bawaan:1440(1 hari)

DLRBackendOptions

Fitur ini tersedia di v1.2.0 dan versi kemudian dari SageMaker Komponen Edge Manager.

(Opsional) Flag runtime DLR untuk diatur dalam runtime DLR yang digunakan komponen ini. Anda dapat mengatur bendera berikut:

  • TVM_TENSORRT_CACHE_DIR- Aktifkan caching model TensorRT. Tentukan jalur absolut ke folder yang ada yang memiliki izin baca/tulis.

  • TVM_TENSORRT_CACHE_DISK_SIZE_MB- Menetapkan batas atas folder cache model TensorRT. Ketika ukuran direktori tumbuh melampaui batas ini mesin cache yang digunakan paling sedikit dihapus. Nilai default adalah 512 MB.

Misalnya, Anda dapat mengatur parameter ini ke nilai berikut untuk mengaktifkan caching model TensorRT dan membatasi ukuran cache hingga 800 MB.

TVM_TENSORRT_CACHE_DIR=/data/secured_folder/trt/cache; TVM_TENSORRT_CACHE_DISK_SIZE_MB=800
SagemakerEdgeLogVerbose

(Opsional) Nilai string yang menentukan apakah akan mengaktifkan pencatatan debug. Nilai yang didukung adalah true dan false.

Default: false

UnixSocketName

(Opsional) Lokasi SageMaker Edge Manager file socket descriptor pada perangkat inti.

Default: /tmp/aws.greengrass.SageMakerEdgeManager.sock

contoh Contoh: Pembaruan gabungan konfigurasi

Contoh konfigurasi berikut menetapkan bahwa perangkat inti adalah bagian dariMyEdgeDeviceFleetdan bahwa agen menulis data yang tertangkap baik pada perangkat maupun bucket S3. Konfigurasi ini juga memungkinkan pencatatan debug.

{ "DeviceFleetName": "MyEdgeDeviceFleet", "BucketName": "DOC-EXAMPLE-BUCKET", "CaptureDataDestination": "Disk", "CaptureDataPeriodicUpload": "true", "SagemakerEdgeLogVerbose": "true" }

File log lokal

Komponen ini menggunakan file log berikut.

Linux
/greengrass/v2/logs/aws.greengrass.SageMakerEdgeManager.log
Windows
C:\greengrass\v2\logs\aws.greengrass.SageMakerEdgeManager.log

Untuk melihat log komponen ini

  • Jalankan perintah berikut pada perangkat inti untuk melihat file log komponen ini secara real time. Ganti/greengrass/v2atauC:\greengrass\v2dengan jalur keAWS IoT Greengrassfolder akar.

    Linux
    sudo tail -f /greengrass/v2/logs/aws.greengrass.SageMakerEdgeManager.log
    Windows (PowerShell)
    Get-Content C:\greengrass\v2\logs\aws.greengrass.SageMakerEdgeManager.log -Tail 10 -Wait

Changelog

Tabel berikut menjelaskan perubahan dalam setiap versi komponen.

Versi

Perubahan

1.3.0

Fitur baru
  • Menambahkan dukungan untuk manajemen ukuran disk cache TensorRT.

    • Menambahkan opsionalTVM_TENSORRT_CACHE_DISK_SIZE_MBbendera ke DLRBackendOptions parameter untuk mengatur batas ukuran untuk model cache pada disk.

Peningkatan
  • Menyediakan concurrency prediksi ditingkatkan. Ini membantu untuk mendapatkan penggunaan yang lebih baik dari mesin akselerator perangkat, seperti GPU.

1.2.0

Fitur baru
  • Menambahkan dukungan untuk komponen ini untuk secara otomatis mengambil SageMaker Model yang dikompilasi NEO yang Anda unggah ke Amazon S3. Saat Anda mengaktifkan fitur ini, Anda dapat menerapkan model baru ke perangkat inti tanpa perlu membuatAWS IoT Greengrassdeployment

  • Menambahkan dukungan untuk database cadangan yang digunakan komponen ini untuk mempertahankan data runtime, jika komponen gagal atau perangkat kehilangan daya.

  • Menambahkan dukungan bagi Anda untuk mengonfigurasi bendera waktu proses DLR saat Anda mengonfigurasi komponen ini.

1.1.1

Versi yang diperbarui untuk rilis inti Greengrass versi 2.7.0.

1.1.0

Fitur baru
  • Menambahkan dukungan untuk perangkat inti Greengrass yang menjalankan Amazon Linux 2.

  • Menambahkan baruCaptureDataDiskPathparameter konfigurasi. Anda dapat menggunakan parameter ini untuk menentukan jalur folder data yang diambil pada perangkat Anda.

Perbaikan bug dan peningkatan
  • Versi yang diperbarui untuk rilis inti Greengrass versi 2.5.0.

1.0.3

Versi yang diperbarui untuk rilis inti Greengrass versi 2.4.0.

1.0.2

Perbaikan bug dan peningkatan

Memperbarui skrip instalasi dalam siklus hidup komponen. Perangkat inti Anda sekarang harus memiliki Python 3.6 atau yang lebih baru, termasuk pip untuk versi Python Anda, yang diinstal pada perangkat sebelum Anda men-deploy komponen ini.

1.0.1

Versi yang diperbarui untuk rilis inti Greengrass versi 2.3.0.

1.0.0

Versi awal.