Memahami hasil validasi pelatihan dan pengujian

Selama latihan, Label Kustom Amazon Rekognition membuat manifes hasil validasi untuk menahan kesalahan Jalur JSON non-terminal. Manifestasi hasil validasi adalah salinan set data pelatihan dan pengujian dengan informasi kesalahan yang ditambahkan. Anda dapat mengakses manifes validasi setelah latihan selesai. Untuk informasi selengkapnya, lihat Mendapatkan hasil validasi. Label Kustom Amazon Rekognition juga membuat ringkasan manifes yang menyertakan informasi ikhtisar untuk kesalahan JSON Line, seperti lokasi kesalahan dan jumlah kesalahan JSON Line. Untuk informasi selengkapnya, lihat Memahami ringkasan manifes.

catatan

Hasil validasi (Manifes Hasil Validasi Pelatihan dan Pengujian dan Ringkasan Manifest) hanya dibuat jika tidak ada. Kesalahan berkas manifes terminal

Manifes berisi Garis JSON untuk setiap gambar dalam kumpulan data. Dalam manifes hasil validasi, informasi galat Jalur JSON ditambahkan ke Garis JSON di mana kesalahan terjadi.

Kesalahan JSON Line adalah kesalahan non-terminal yang terkait dengan satu gambar. Kesalahan validasi non-terminal dapat membatalkan seluruh Jalur JSON atau hanya sebagian saja. Misalnya, jika gambar yang direferensikan dalam JSON Line tidak dalam format PNG atau JPG, terjadi ERROR_INVALID_IMAGE kesalahan dan seluruh Jalur JSON dikecualikan dari pelatihan. Pelatihan berlanjut dengan JSON Lines lainnya yang valid.

Dalam JSON Line, kesalahan mungkin berarti JSON Line dapat stil digunakan untuk pelatihan. Misalnya, jika nilai kiri untuk salah satu dari empat kotak pembatas yang terkait dengan label negatif, model masih dilatih menggunakan kotak pembatas valid lainnya. Informasi kesalahan JSON Baris dikembalikan untuk kotak pembatas yang tidak valid (). ERROR_INVALID_BOUNDING_BOX Dalam contoh ini, informasi kesalahan ditambahkan ke annotation objek di mana kesalahan terjadi.

Kesalahan peringatan, sepertiWARNING_NO_ANNOTATIONS, tidak digunakan untuk latihan dan dihitung sebagai baris JSON (ignored_json_lines) yang diabaikan dalam ringkasan manifes. Untuk informasi selengkapnya, lihat Memahami ringkasan manifes. Selain itu, Garis JSON yang diabaikan tidak dihitung terhadap ambang kesalahan 20% untuk pelatihan dan pengujian.

Untuk informasi tentang kesalahan validasi data non-terminal tertentu, lihat. Non-Terminal JSON Baris Validasi Kesalahan

catatan

Jika ada terlalu banyak kesalahan validasi data, pelatihan dihentikan dan kesalahan ERROR_TOO_MANY_INVALID_ROWS_IN_MANIFEST terminal dilaporkan dalam ringkasan manifes.

Untuk informasi tentang mengoreksi kesalahan JSON Line, lihat. Memperbaiki kesalahan pelatihan

Format kesalahan baris JSON

Amazon Rekognition Custom Labels menambahkan informasi kesalahan validasi non-terminal ke tingkat gambar dan format pelokalan objek JSON Lines. Untuk informasi selengkapnya, lihat Membuat file manifes.

Kesalahan Tingkat Gambar

Contoh berikut menunjukkan Error array di tingkat gambar JSON Baris. Ada dua set kesalahan. Kesalahan yang terkait dengan metadata atribut label (dalam contoh ini, sport-metadata) dan kesalahan yang terkait dengan gambar. Kesalahan termasuk kode kesalahan (kode), pesan kesalahan (pesan). Untuk informasi selengkapnya, lihat Label Tingkat Gambar dalam file manifes.

{
    "source-ref": String,
    "sport": Number,
    "sport-metadata": {
        "class-name": String,
        "confidence": Float,
        "type": String,
        "job-name": String,
        "human-annotated": String,
        "creation-date": String,
        "errors": [
            {
                "code": String, # error codes for label
                "message": String # Description and additional contextual details of the error
            }
        ] 
    },
    "errors": [
        {
            "code": String, # error codes for image
            "message": String # Description and additional contextual details of the error
        }
    ]
}

Kesalahan lokalisasi objek

Contoh berikut menunjukkan array kesalahan dalam objek lokalisasi JSON Baris. JSON Baris berisi informasi Errors array untuk bidang di bagian JSON Baris berikut. Setiap Error objek termasuk kode kesalahan dan pesan kesalahan.

• atribut label - Kesalahan untuk bidang atribut label. Lihat bounding-box dalam contoh.

• anotasi - Kesalahan anotasi (kotak pembatas) disimpan dalam annotations array di dalam atribut label.

• label atribut-metadata - Kesalahan untuk metadata atribut label. Lihat bounding-box-metadata dalam contoh.

• image - Kesalahan yang tidak terkait dengan atribut label, anotasi, dan bidang metadata atribut label.

Untuk informasi selengkapnya, lihat Lokalisasi objek dalam file manifes.

{
    "source-ref": String,
    "bounding-box": {
        "image_size": [
            {
                "width": Int,
                "height": Int,
                "depth":Int,
            }
        ],
        "annotations": [
            {
                "class_id": Int,
                "left": Int,
                "top": Int,
                "width": Int,
                "height": Int,
                "errors": [   # annotation field errors
                    {
                        "code": String, # annotation field error code
                        "message": String # Description and additional contextual details of the error
                    }
                ]
            }
        ],
        "errors": [ #label attribute field errors
            {
                "code": String, # error code
                "message": String # Description and additional contextual details of the error
            }
        ] 
    },
    "bounding-box-metadata": {
        "objects": [
            {
                "confidence": Float
            }
        ],
        "class-map": {
            String: String
        }, 
        "type": String,
        "human-annotated": String,
        "creation-date": String,
        "job-name": String,
        "errors": [  #metadata field errors
            {
                "code": String, # error code
                "message": String # Description and additional contextual details of the error
            }
        ] 
    },
   "errors": [  # image errors
        {
            "code": String, # error code
            "message": String # Description and additional contextual details of the error
        }
    ] 
 }

Contoh kesalahan baris JSON

Berikut objek lokalisasi JSON Baris (diformat untuk dibaca) menunjukkan kesalahan. ERROR_BOUNDING_BOX_TOO_SMALL Dalam contoh ini, dimensi kotak pembatas (tinggi dan lebar) tidak lebih besar dari 1 x 1.

{
    "source-ref": "s3://bucket/Manifests/images/199940-1791.jpg",
    "bounding-box": {
        "image_size": [
            {
                "width": 3000,
                "height": 3000,
                "depth": 3
            }
        ],
        "annotations": [
            {
                "class_id": 1,
                "top": 0,
                "left": 0,
                "width": 1,
                "height": 1, 
                "errors": [
                    {
                        "code": "ERROR_BOUNDING_BOX_TOO_SMALL",
                        "message": "The height and width of the bounding box is too small."
                    }
                ]
            },
            {
                "class_id": 0,
                "top": 65,
                "left": 86,
                "width": 220,
                "height": 334
            }
        ]
    },
    "bounding-box-metadata": {
        "objects": [
            {
                "confidence": 1
            },
            {
                "confidence": 1
            }
        ],
        "class-map": {
            "0": "Echo",
            "1": "Echo Dot"
        },
        "type": "groundtruth/object-detection",
        "human-annotated": "yes",
        "creation-date": "2019-11-20T02:57:28.288286",
        "job-name": "my job"
    }
}