Memecahkan Masalah Pipa Inferensi

Untuk memecahkan masalah pipeline inferensi, gunakan CloudWatch log dan pesan kesalahan. Jika Anda menggunakan gambar Docker khusus dalam pipeline yang menyertakan algoritme SageMaker bawaan Amazon, Anda mungkin juga mengalami masalah izin. Untuk memberikan izin yang diperlukan, buat kebijakan Amazon Elastic Container Registry (Amazon ECR).

Memecahkan Masalah Izin Amazon ECR untuk Pipa Inferensi

Saat Anda menggunakan gambar Docker khusus dalam pipeline yang menyertakan algoritme SageMaker bawaan, Anda memerlukan kebijakan ECR Amazon. Kebijakan ini memungkinkan repositori Amazon ECR Anda memberikan izin SageMaker untuk menarik gambar. Kebijakan harus menambahkan izin berikut:

{
    "Version": "2008-10-17",
    "Statement": [
        {
            "Sid": "allowSageMakerToPull",
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": [
                "ecr:GetDownloadUrlForLayer",
                "ecr:BatchGetImage",
                "ecr:BatchCheckLayerAvailability"
            ]
        }
    ]
}

Gunakan CloudWatch Log untuk Memecahkan Masalah Pipa Inferensi SageMaker

SageMaker menerbitkan log kontainer untuk titik akhir yang menerapkan pipeline inferensi ke Amazon CloudWatch di jalur berikut untuk setiap kontainer.

/aws/sagemaker/Endpoints/{EndpointName}/{Variant}/{InstanceId}/{ContainerHostname}

Misalnya, log untuk titik akhir ini dipublikasikan ke grup dan aliran log berikut:

EndpointName: MyInferencePipelinesEndpoint
Variant: MyInferencePipelinesVariant
InstanceId: i-0179208609ff7e488
ContainerHostname: MyContainerName1 and MyContainerName2

logGroup: /aws/sagemaker/Endpoints/MyInferencePipelinesEndpoint
logStream: MyInferencePipelinesVariant/i-0179208609ff7e488/MyContainerName1
logStream: MyInferencePipelinesVariant/i-0179208609ff7e488/MyContainerName2

Pengaliran log adalah urutan log acara yang berbagi sumber yang sama. Setiap sumber log yang CloudWatch terpisah menjadi aliran log terpisah. Grup log adalah grup log stream yang berbagi pengaturan retensi, pemantauan, dan kontrol akses yang sama.

Untuk melihat grup log dan aliran

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di halaman navigasi, pilih Log.

3. Di Grup Log. filter padaMyInferencePipelinesEndpoint:

   

4. Untuk melihat aliran log, pada halaman Grup CloudWatch Log, pilihMyInferencePipelinesEndpoint, lalu Cari Grup Log.

   

Untuk daftar log yang SageMaker diterbitkan, lihatLog dan Metrik Pipa Inferensi.

Menggunakan Pesan Kesalahan untuk Memecahkan Masalah Saluran Inferensi

Pesan kesalahan saluran inferensi menunjukkan kontainer mana yang gagal.

Jika terjadi kesalahan saat SageMaker memanggil titik akhir, layanan mengembalikan ModelError (kode kesalahan 424), yang menunjukkan kontainer mana yang gagal. Jika payload permintaan (respon dari kontainer sebelumnya) melebihi batas 5 MB, SageMaker memberikan pesan kesalahan rinci, seperti:

Menerima tanggapan dari MyContainerName 1 dengan kode status 200. Namun, payload permintaan dari MyContainerName 1 hingga MyContainerName 2 adalah 6000000 byte, yang telah melampaui batas maksimum 5 MB.

Jika sebuah wadah gagal dalam pemeriksaan kesehatan ping saat SageMaker membuat titik akhir, ia mengembalikan ClientError dan menunjukkan semua kontainer yang gagal pemeriksaan ping di pemeriksaan kesehatan terakhir.