Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Anda dapat memilih untuk menggunakan fungsi konsolidasi anotasi Anda sendiri untuk menentukan label akhir untuk objek berlabel Anda. Ada banyak pendekatan yang mungkin untuk menulis fungsi dan pendekatan yang Anda ambil tergantung pada sifat anotasi untuk dikonsolidasikan. Secara umum, fungsi konsolidasi melihat anotasi dari pekerja, mengukur kesamaan di antara mereka, dan kemudian menggunakan beberapa bentuk penilaian probabilistik untuk menentukan label apa yang paling mungkin seharusnya.
Jika ingin menggunakan algoritme lain untuk membuat fungsi konsolidasi anotasi, Anda dapat menemukan respons pekerja di [project-name]/annotations/worker-response
Menilai kesamaan
Untuk menilai kesamaan antara label, Anda dapat menggunakan salah satu strategi berikut, atau Anda dapat menggunakan salah satu yang memenuhi kebutuhan pelabelan data Anda:
-
Untuk ruang label yang terdiri dari kategori diskrit dan saling eksklusif, seperti klasifikasi multi-kelas, menilai kesamaan bisa sangat mudah. Label diskrit cocok atau tidak cocok.
-
Untuk spasi label yang tidak memiliki nilai diskrit, seperti anotasi kotak pembatas, temukan ukuran kesamaan yang luas. Untuk kotak pembatas, salah satu ukuran tersebut adalah indeks Jaccard. Ini mengukur rasio persimpangan dua kotak dengan penyatuan kotak untuk menilai seberapa mirip mereka. Misalnya, jika ada tiga anotasi, maka bisa ada fungsi yang menentukan anotasi mana yang mewakili objek yang sama dan harus dikonsolidasikan.
Nilai label yang paling mungkin
Dengan salah satu strategi yang dirinci di bagian sebelumnya dalam pikiran, buat semacam penilaian probabilistik tentang apa label konsolidasi seharusnya. Dalam kasus kategori diskrit dan saling eksklusif, ini bisa sangat mudah. Salah satu cara paling umum untuk melakukan ini adalah dengan mengambil hasil suara mayoritas di antara anotasi. Ini memberi bobot anotasi secara merata.
Beberapa pendekatan mencoba memperkirakan keakuratan anotator yang berbeda dan menimbang anotasi mereka sebanding dengan probabilitas kebenaran. Contohnya adalah metode Expectation Maximization, yang digunakan dalam fungsi konsolidasi Ground Truth default untuk anotasi multi-kelas.
Untuk informasi selengkapnya tentang membuat fungsi konsolidasi anotasi, lihat. Memproses data dalam alur kerja pelabelan khusus dengan AWS Lambda
