Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Migrasikan beban kerja inferensi dari x86 ke Graviton AWS
AWS Graviton
Anda dapat memigrasikan beban kerja inferensi yang ada dari instance berbasis x86 ke instance berbasis Graviton, dengan menggunakan gambar kontainer yang kompatibel atau gambar kontainer multi-arsitektur. ARM Panduan ini mengasumsikan bahwa Anda menggunakan gambar kontainer AWS
Deep Learning, atau gambar kontainer
Pada tingkat tinggi, memigrasikan beban kerja inferensi dari instance berbasis x86 ke instance berbasis Graviton adalah proses empat langkah:
Dorong gambar kontainer ke Amazon Elastic Container Registry (AmazonECR), registri kontainer AWS terkelola.
Buat SageMaker Model.
Buat konfigurasi titik akhir.
Buat titik akhir.
Bagian berikut dari panduan ini memberikan rincian lebih lanjut mengenai langkah-langkah di atas. Ganti user placeholder text
dalam contoh kode dengan informasi Anda sendiri.
Topik
Dorong gambar wadah ke Amazon ECR
Anda dapat mendorong gambar kontainer Anda ke Amazon ECR dengan file AWS CLI. Saat menggunakan gambar yang ARM kompatibel, verifikasi bahwa itu mendukung ARM arsitektur:
docker inspect
deep-learning-container-uri
Respons "Architecture": "arm64"
menunjukkan bahwa gambar mendukung ARM arsitektur. Anda dapat mendorongnya ke Amazon ECR dengan docker push
perintah. Untuk informasi selengkapnya, periksa Mendorong gambar Docker.
Gambar kontainer multi-arsitektur pada dasarnya adalah sekumpulan gambar kontainer yang mendukung arsitektur atau sistem operasi yang berbeda, yang dapat Anda rujuk dengan nama manifes umum. Jika Anda menggunakan gambar wadah multi-arsitektur, maka selain mendorong gambar ke AmazonECR, Anda juga harus mendorong daftar manifes ke AmazonECR. Daftar manifes memungkinkan penyertaan bersarang dari manifes gambar lain, di mana setiap gambar yang disertakan ditentukan oleh arsitektur, sistem operasi, dan atribut platform lainnya. Contoh berikut membuat daftar manifes, dan mendorongnya ke AmazonECR.
-
Buat daftar manifes.
docker manifest create
aws-account-id
.dkr.ecr.aws-region
.amazonaws.com/my-repository
\aws-account-id
.dkr.ecr.aws-account-id
.amazonaws.com/my-repository:amd64
\aws-account-id
.dkr.ecr.aws-account-id
.amazonaws.com/my-repository:arm64
\ -
Beri anotasi daftar manifes, sehingga benar mengidentifikasi gambar mana untuk arsitektur mana.
docker manifest annotate --arch arm64
aws-account-id
.dkr.ecr.aws-region
.amazonaws.com/my-repository
\aws-account-id
.dkr.ecr.aws-region
.amazonaws.com/my-repository:arm64
-
Dorong manifes.
docker manifest push
aws-account-id
.dkr.ecr.aws-region
.amazonaws.com/my-repository
Untuk informasi selengkapnya tentang membuat dan mendorong daftar manifes ke AmazonECR, periksa Memperkenalkan gambar wadah multi-arsitektur untuk Amazon ECR
Buat SageMaker Model
Buat SageMaker Model dengan memanggil file CreateModel
API.
import boto3 from sagemaker import get_execution_role aws_region = "
aws-region
" sagemaker_client = boto3.client("sagemaker", region_name=aws_region) role = get_execution_role() sagemaker_client.create_model( ModelName = "model-name
", PrimaryContainer = { "Image": "deep-learning-container-uri
", "ModelDataUrl": "model-s3-location
", "Environment": { "SAGEMAKER_PROGRAM": "inference.py
", "SAGEMAKER_SUBMIT_DIRECTORY": "inference-script-s3-location
", "SAGEMAKER_CONTAINER_LOG_LEVEL": "20", "SAGEMAKER_REGION": aws_region, } }, ExecutionRoleArn = role )
Buat konfigurasi titik akhir
Buat konfigurasi titik akhir dengan memanggil file. CreateEndpointConfig
API Untuk daftar instance berbasis Graviton, periksa Instance yang dioptimalkan Compute.
sagemaker_client.create_endpoint_config( EndpointConfigName = "
endpoint-config-name
", ProductionVariants = [ { "VariantName": "variant-name
", "ModelName": "model-name
", "InitialInstanceCount":1
, "InstanceType": "ml.c7g.xlarge
", # Graviton-based instance } ] )
Buat titik akhir
Buat titik akhir dengan memanggil file. CreateEndpoint
API
sagemaker_client.create_endpoint( EndpointName = "
endpoint-name
", EndpointConfigName = "endpoint-config-name
" )