Membuat dataset Anda

Dataset berisi gambar dan label yang ditetapkan yang Anda gunakan untuk melatih dan menguji model. Anda membuat kumpulan data untuk project Anda dengan konsol Amazon Lookout for Vision atau dengan operasi. CreateDataset Gambar dataset harus diberi label sesuai dengan jenis model yang ingin Anda buat (klasifikasi gambar atau segmentasi gambar).

Topik

• Mempersiapkan gambar untuk dataset
• Membuat dataset
• Membuat kumpulan data menggunakan gambar yang disimpan di komputer lokal Anda
• Membuat kumpulan data menggunakan gambar yang disimpan di bucket Amazon S3
• Membuat kumpulan data menggunakan file manifes Amazon SageMaker Ground Truth

Mempersiapkan gambar untuk dataset

Anda memerlukan koleksi gambar untuk membuat kumpulan data. Gambar Anda harus berupa file format PNG atau JPEG. Jumlah dan jenis gambar yang Anda butuhkan tergantung pada apakah proyek Anda memiliki satu set data tunggal atau kumpulan data pelatihan dan pengujian terpisah.

Proyek kumpulan data tunggal

Untuk membuat model klasifikasi gambar, Anda memerlukan yang berikut ini untuk memulai pelatihan:

• Setidaknya 20 gambar objek normal.

• Setidaknya 10 gambar objek anomali.

Untuk membuat model segmentasi gambar, Anda memerlukan yang berikut ini untuk memulai pelatihan:

• Setidaknya 20 gambar dari setiap jenis anomali.

• Setiap gambar anomali (gambar dengan tipe anomali yang ada) harus hanya memiliki satu jenis anomali.

• Setidaknya 20 gambar objek normal.

Pisahkan proyek kumpulan data pelatihan dan pengujian

Untuk membuat model klasifikasi gambar, Anda memerlukan yang berikut:

• Setidaknya 10 gambar objek normal dalam dataset pelatihan.

• Setidaknya 10 gambar objek normal dalam dataset pengujian.

• Setidaknya 10 gambar objek anomali dalam dataset uji.

Untuk membuat model segmentasi gambar, Anda memerlukan yang berikut ini:

• Setiap dataset membutuhkan setidaknya 10 gambar dari setiap jenis anomali.

• Setiap gambar anomali (gambar dengan tipe anomali yang ada) harus mengandung hanya satu jenis anomali.

• Setiap dataset harus memiliki setidaknya 10 gambar objek normal.

Untuk membuat model berkualitas lebih tinggi, gunakan lebih dari jumlah minimum gambar. Jika Anda membuat model segmentasi, sebaiknya sertakan gambar dengan beberapa jenis anomali, tetapi ini tidak diperhitungkan dalam jumlah minimum yang dibutuhkan Lookout for Vision untuk memulai pelatihan.

Gambar Anda harus dari satu jenis objek. Selain itu, Anda harus memiliki kondisi pengambilan gambar yang konsisten, seperti pemosisian kamera, pencahayaan, dan pose objek.

Semua gambar dalam kumpulan data pelatihan dan pengujian harus memiliki dimensi yang sama. Kemudian, gambar yang Anda analisis dengan model terlatih Anda harus memiliki dimensi yang sama dengan gambar kumpulan data pelatihan dan pengujian. Untuk informasi selengkapnya, lihat Mendeteksi anomali dalam gambar.

Semua gambar pelatihan dan tes harus berupa gambar yang unik, lebih disukai dari objek unik. Gambar normal harus menangkap variasi normal dari objek yang sedang dianalisis. Gambar anomali harus menangkap beragam sampel anomali.

Amazon Lookout for Vision memberikan contoh gambar yang dapat Anda gunakan. Untuk informasi selengkapnya, lihat Set data klasifikasi gambar.

Untuk batas gambar, lihatKuota di Amazon Lookout for Vision.

Membuat dataset

Saat Anda membuat kumpulan data untuk proyek Anda, Anda memilih konfigurasi kumpulan data awal proyek Anda. Anda juga memilih dari mana Lookout for Vision mengimpor gambar.

Memilih konfigurasi kumpulan data untuk proyek Anda

Saat Anda membuat kumpulan data pertama dalam proyek Anda, Anda memilih salah satu konfigurasi kumpulan data berikut:

• Dataset tunggal — Sebuah proyek dataset tunggal menggunakan satu set data untuk melatih dan menguji model Anda. Menggunakan satu kumpulan data menyederhanakan pelatihan dengan membiarkan Amazon Lookout for Vision memilih gambar pelatihan dan pengujian. Selama pelatihan, Amazon Lookout for Vision, secara internal membagi kumpulan data menjadi kumpulan data pelatihan dan kumpulan data pengujian. Anda tidak memiliki akses ke kumpulan data terpisah. Sebaiknya gunakan satu proyek kumpulan data untuk sebagian besar skenario.

• Pisahkan kumpulan data pelatihan dan pengujian — Jika Anda menginginkan kontrol yang lebih baik atas pelatihan, pengujian, dan penyetelan kinerja, Anda dapat mengonfigurasi proyek Anda agar memiliki kumpulan data pelatihan dan pengujian yang terpisah. Gunakan kumpulan data pengujian terpisah jika Anda ingin mengontrol gambar yang digunakan untuk pengujian, atau jika Anda sudah memiliki kumpulan gambar tolok ukur yang ingin Anda gunakan.

Anda dapat menambahkan kumpulan data pengujian ke proyek kumpulan data tunggal yang ada. Dataset tunggal kemudian menjadi kumpulan data pelatihan. Jika Anda menghapus kumpulan data pengujian dari proyek dengan kumpulan data pelatihan dan pengujian terpisah, proyek menjadi proyek kumpulan data tunggal. Untuk informasi selengkapnya, lihat Menghapus dataset.

Mengimpor gambar

Saat Anda membuat kumpulan data, Anda memilih tempat untuk mengimpor gambar. Bergantung pada bagaimana Anda mengimpor gambar, gambar mungkin sudah diberi label. Jika gambar tidak diberi label setelah membuat kumpulan data, lihat. Pelabelan gambar

Anda membuat kumpulan data dan mengimpor gambarnya dengan salah satu cara berikut:

• Impor gambar dari komputer lokal Anda. Gambar tidak diberi label. Anda menambahkan atau memberi label dengan menggunakan konsol Lookout for Vision.

• Impor gambar dari ember S3. Amazon Lookout for Vision dapat mengklasifikasikan gambar dengan menggunakan nama folder untuk memberi label pada gambar. Gunakan normal untuk gambar normal. Gunakan anomaly untuk gambar anomali. Anda tidak dapat secara otomatis menetapkan label segmentasi.

• Impor file manifes Amazon SageMaker Ground Truth, yang menyertakan gambar berlabel. Anda dapat membuat dan mengimpor file manifes Anda sendiri. Jika Anda memiliki banyak gambar, pertimbangkan untuk menggunakan layanan pelabelan SageMaker Ground Truth. Anda kemudian mengimpor file manifes keluaran dari pekerjaan Amazon SageMaker Ground Truth. Jika perlu, Anda dapat menggunakan konsol Lookout for Vision untuk menambah atau mengubah label.

Jika Anda menggunakan AWS SDK, Anda membuat kumpulan data dengan file manifes Amazon SageMaker Ground Truth. Untuk informasi selengkapnya, lihat Membuat kumpulan data menggunakan file manifes Amazon SageMaker Ground Truth.

Jika, setelah membuat kumpulan data Anda, gambar Anda diberi label, Anda dapat melatih modelnya. Jika gambar tidak diberi label, tambahkan label sesuai dengan jenis model yang ingin Anda buat. Untuk informasi selengkapnya, lihat Pelabelan gambar.

Anda dapat menambahkan lebih banyak gambar ke kumpulan data yang ada. Untuk informasi selengkapnya, lihat Menambahkan gambar ke kumpulan data Anda.