Pelacakan Objek Bingkai Video

Anda dapat menggunakan jenis tugas pelacakan objek bingkai video agar pekerja melacak pergerakan objek dalam urutan bingkai video (gambar yang diekstrak dari video) menggunakan kotak pembatas, polyline, poligon, atau alat anotasi keypoint. Alat yang Anda pilih menentukan jenis tugas bingkai video yang Anda buat. Misalnya, Anda dapat menggunakan jenis tugas pelacakan objek bingkai video kotak pembatas untuk meminta pekerja melacak pergerakan objek, seperti mobil, sepeda, dan pejalan kaki dengan menggambar kotak di sekitarnya.

Anda memberikan daftar kategori, dan setiap anotasi yang ditambahkan pekerja ke bingkai video diidentifikasi sebagai instance dari kategori tersebut menggunakan ID instance. Misalnya, jika Anda memberikan label kategori mobil, mobil pertama yang dianotasi pekerja akan memiliki contoh ID car:1. Mobil kedua yang dianotasi pekerja akan memiliki instance ID car:2. Untuk melacak pergerakan objek, pekerja menambahkan anotasi yang terkait dengan ID instance yang sama ke objek di semua frame.

Anda dapat membuat pekerjaan pelabelan pelacakan objek bingkai video menggunakan konsol Amazon SageMaker Ground Truth, SageMaker API, dan SDK khusus bahasa AWS . Untuk mempelajari lebih lanjut, lihat Buat Job Pelabelan Deteksi Objek Bingkai Video dan pilih metode pilihan Anda. Lihat Jenis Tugas untuk mempelajari lebih lanjut tentang alat anotasi yang dapat Anda pilih saat membuat pekerjaan pelabelan.

Ground Truth menyediakan UI pekerja dan alat untuk menyelesaikan tugas pekerjaan pelabelan Anda:Pratinjau UI Pekerja.

Anda dapat membuat pekerjaan untuk menyesuaikan anotasi yang dibuat dalam pekerjaan pelabelan deteksi objek video menggunakan jenis tugas penyesuaian deteksi objek video. Untuk mempelajari selengkapnya, lihat Buat Penyesuaian Deteksi Objek Bingkai Video atau Pekerjaan Pelabelan Verifikasi.

Pratinjau UI Pekerja

Ground Truth memberi pekerja antarmuka pengguna web (UI) untuk menyelesaikan tugas anotasi pelacakan objek bingkai video Anda. Anda dapat melihat pratinjau dan berinteraksi dengan UI pekerja saat membuat pekerjaan pelabelan di konsol. Jika Anda adalah pengguna baru, sebaiknya Anda membuat pekerjaan pelabelan melalui konsol menggunakan kumpulan data input kecil untuk melihat pratinjau UI pekerja dan memastikan bingkai video, label, dan atribut label Anda muncul seperti yang diharapkan.

UI memberi pekerja alat pelabelan bantu berikut untuk menyelesaikan tugas pelacakan objek Anda:

• Untuk semua tugas, pekerja dapat menggunakan Salin ke berikutnya dan Salin ke semua fitur untuk menyalin anotasi dengan ID unik yang sama ke bingkai berikutnya atau ke semua frame berikutnya masing-masing.

• Untuk tugas yang menyertakan alat kotak pembatas, pekerja dapat menggunakan fitur Predict next untuk menggambar kotak pembatas dalam satu bingkai, dan kemudian meminta Ground Truth memprediksi lokasi kotak dengan ID unik yang sama di semua frame lainnya. Pekerja kemudian dapat melakukan penyesuaian untuk memperbaiki lokasi kotak yang diprediksi.

Video berikut menunjukkan bagaimana seorang pekerja dapat menggunakan UI pekerja dengan alat kotak pembatas untuk menyelesaikan tugas pelacakan objek Anda.

Membuat Job Pelabelan Objek Bingkai Video

Anda dapat membuat pekerjaan pelabelan pelacakan objek bingkai video menggunakan SageMaker konsol atau operasi CreateLabelingJobAPI.

Bagian ini mengasumsikan bahwa Anda telah meninjau Ikhtisar Pekerjaan Pelabelan Bingkai Video dan telah memilih jenis data input dan koneksi dataset input yang Anda gunakan.

Membuat Job Pelabelan (Konsol)

Anda dapat mengikuti petunjuk Membuat Job Pelabelan (Konsol) untuk mempelajari cara membuat pekerjaan pelacakan objek bingkai video di SageMaker konsol. Pada langkah 10, pilih Video - Pelacakan objek dari daftar dropdown kategori Tugas. Pilih jenis tugas yang Anda inginkan dengan memilih salah satu kartu di Pemilihan tugas.

Membuat Job Pelabelan (API)

Anda membuat tugas pelabelan pelacakan objek menggunakan operasi SageMaker CreateLabelingJob API. API ini mendefinisikan operasi ini untuk semua AWS SDK. Untuk melihat daftar SDK khusus bahasa yang didukung untuk operasi ini, tinjau bagian Lihat Juga. CreateLabelingJob

Membuat Job Pelabelan (API)memberikan gambaran umum CreateLabelingJob operasi. Ikuti petunjuk ini dan lakukan hal berikut saat Anda mengonfigurasi permintaan Anda:

• Anda harus memasukkan ARN untuk. HumanTaskUiArn Gunakan arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectTracking. Ganti <region> dengan AWS Wilayah tempat Anda membuat pekerjaan pelabelan.

  Jangan sertakan entri untuk UiTemplateS3Uri parameter.

• Anda LabelAttributeNameharus berakhir-ref. Misalnya, ot-labels-ref.

• File manifes masukan Anda harus berupa file manifes urutan bingkai video. Anda dapat membuat file manifes ini menggunakan SageMaker konsol, atau membuatnya secara manual dan mengunggahnya ke Amazon S3. Untuk informasi selengkapnya, lihat Penyiapan Data Masukan. Jika Anda membuat pekerjaan pelabelan streaming, file manifes masukan bersifat opsional.

• Anda hanya dapat menggunakan tim kerja pribadi atau vendor untuk membuat pekerjaan pelabelan deteksi objek bingkai video.

• Anda menentukan label, kategori label dan atribut bingkai, jenis tugas, dan instruksi pekerja dalam file konfigurasi kategori label. Tentukan jenis tugas (kotak pembatas, polyline, poligon, atau keypoint) yang digunakan annotationType dalam file konfigurasi kategori label Anda. Untuk informasi selengkapnya, lihat Buat File Konfigurasi Kategori Pelabelan dengan Kategori Label dan Atribut Bingkai untuk mempelajari cara membuat file ini.

• Anda perlu menyediakan ARN yang telah ditentukan sebelumnya untuk fungsi Lambda pra-anotasi dan pasca-anotasi (ACS). ARN ini khusus untuk AWS Wilayah yang Anda gunakan untuk membuat pekerjaan pelabelan Anda.

  • Untuk menemukan pra-anotasi Lambda ARN, lihat. PreHumanTaskLambdaArn Gunakan Wilayah tempat Anda membuat pekerjaan pelabelan untuk menemukan ARN yang benar yang berakhir dengan. PRE-VideoObjectTracking

  • Untuk menemukan ARN Lambda pasca-anotasi, lihat. AnnotationConsolidationLambdaArn Gunakan Wilayah tempat Anda membuat pekerjaan pelabelan untuk menemukan ARN yang benar yang berakhir dengan. ACS-VideoObjectTracking

• Jumlah pekerja yang ditentukan NumberOfHumanWorkersPerDataObject harus1.

• Pelabelan data otomatis tidak didukung untuk pekerjaan pelabelan bingkai video. Jangan tentukan nilai untuk parameter diLabelingJobAlgorithmsConfig.

• Pekerjaan pelabelan pelacakan objek bingkai video dapat memakan waktu beberapa jam untuk diselesaikan. Anda dapat menentukan batas waktu yang lebih lama untuk pekerjaan pelabelan ini dalam TaskTimeLimitInSeconds (hingga 7 hari, atau 604.800 detik).

Berikut ini adalah contoh permintaan AWS Python SDK (Boto3) untuk membuat pekerjaan pelabelan di Wilayah AS Timur (Virginia N.).

response = client.create_labeling_job(
    LabelingJobName='example-video-ot-labeling-job,
    LabelAttributeName='label',
    InputConfig={
        'DataSource': {
            'S3DataSource': {
                'ManifestS3Uri': 's3://DOC-EXAMPLE-BUCKET/path/video-frame-sequence-input-manifest.json'
            }
        },
        'DataAttributes': {
            'ContentClassifiers': [
                'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent',
            ]
        }
    },
    OutputConfig={
        'S3OutputPath': 's3://DOC-EXAMPLE-BUCKET/prefix/file-to-store-output-data',
        'KmsKeyId': 'string'
    },
    RoleArn='arn:aws:iam::*:role/*,
    LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json',
    StoppingConditions={
        'MaxHumanLabeledObjectCount': 123,
        'MaxPercentageOfInputDatasetLabeled': 123
    },
    HumanTaskConfig={
        'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*',
        'UiConfig': {
            'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectTracking'
        },
        'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectTracking',
        'TaskKeywords': [
            'Video Frame Object Tracking,
        ],
        'TaskTitle': 'Video frame object tracking task',
        'TaskDescription': Tracking the location of objects and people across video frames',
        'NumberOfHumanWorkersPerDataObject': 123,
        'TaskTimeLimitInSeconds': 123,
        'TaskAvailabilityLifetimeInSeconds': 123,
        'MaxConcurrentTaskCount': 123,
        'AnnotationConsolidationConfig': {
            'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectTracking'
        },
    Tags=[
        {
            'Key': 'string',
            'Value': 'string'
        },
    ]
)

Membuat Penyesuaian Pelacakan Objek Bingkai Video atau Pekerjaan Pelabelan Verifikasi

Anda dapat membuat pekerjaan pelabelan penyesuaian dan verifikasi menggunakan konsol Ground Truth atau CreateLabelingJob API. Untuk mempelajari lebih lanjut tentang pekerjaan pelabelan penyesuaian dan verifikasi, dan untuk mempelajari cara membuatnya, lihatVerifikasi dan Sesuaikan Label.

Format Data Keluaran

Saat Anda membuat pekerjaan pelabelan pelabelan objek bingkai video, tugas dikirim ke pekerja. Saat pekerja ini menyelesaikan tugasnya, label akan ditulis ke lokasi keluaran Amazon S3 yang Anda tentukan saat Anda membuat pekerjaan pelabelan. Untuk mempelajari tentang format data keluaran pelacakan objek bingkai video, lihatOutput Pelacakan Objek Bingkai Video. Jika Anda adalah pengguna baru Ground Truth, lihat Data Keluaran untuk mempelajari lebih lanjut tentang format data keluaran Ground Truth.