Panoramica dei processi di etichettatura di fotogrammi video

Utilizza questa pagina per ulteriori informazioni sui processi di etichettatura di fotogrammi video di rilevamento e tracciamento di oggetti. Le informazioni contenute in questa pagina si applicano a entrambi i tipi di attività predefiniti.

Il processo di etichettatura dei fotogrammi video è unico per i seguenti motivi:

• Puoi fornire oggetti dati pronti per essere annotati (fotogrammi video) oppure fornire file video e fare in modo che Ground Truth estragga automaticamente i fotogrammi video.

• I worker hanno la possibilità di risparmiare lavoro man mano che procedono.

• Non è possibile utilizzare la Amazon Mechanical Turk forza lavoro per completare le attività di etichettatura.

• Ground Truth fornisce un'interfaccia utente per i worker, oltre a strumenti di etichettatura assistivi e di base, per aiutare i worker a completare le proprie attività. Non è necessario fornire un modello di attività del worker.

Per ulteriori informazioni, usa gli argomenti seguenti.

Dati di input

Il processo di etichettatura dei fotogrammi video utilizza sequenze di fotogrammi video. Una singola sequenza è una serie di immagini che sono state estratte da un singolo video. Puoi fornire le tue sequenze di fotogrammi video oppure fare in modo che Ground Truth estragga automaticamente le sequenze di fotogrammi video dai tuoi file video. Per ulteriori informazioni, consulta Fornire file video.

Ground Truth utilizza i file di sequenza per identificare tutte le immagini in un'unica sequenza. Tutte le sequenze che desideri includere in un singolo processo di etichettatura sono identificate in un file manifest di input. Ogni sequenza viene utilizzata per creare una singola attività lavorativa. Puoi creare automaticamente file di sequenza e un file manifest di input utilizzando la configurazione automatica dei dati di Ground Truth. Per ulteriori informazioni, consulta Configurazione automatica dei dati di input dei fotogrammi video.

Per informazioni su come creare manualmente file di sequenza e un file manifest di input, consulta Creazione di un file manifesto di input di fotogrammi video.

Tempi di completamento del processo

I processi di etichettatura di video e fotogrammi video possono richiedere ore ai worker per essere completati. È possibile impostare la quantità totale di tempo in cui i worker possono lavorare su ogni attività quando si crea un processo di etichettatura. Il tempo massimo che è possibile impostare per i worker per svolgere le attività è di 7 giorni. Il valore predefinito è 3 giorni.

Consigliamo di creare attività che i worker possono completare entro 12 ore. I worker devono mantenere aperta l'interfaccia utente del worker mentre lavorano su un'attività. Possono salvare il lavoro in corso d'opera e Ground Truth salverà il lavoro ogni 15 minuti.

Quando utilizzi l'operazione SageMaker CreateLabelingJob API, imposta il tempo totale in cui un'attività è disponibile per i lavoratori nel TaskTimeLimitInSeconds parametro di. HumanTaskConfig

Quando si crea un processo di etichettatura nella console, è possibile specificare questo limite di tempo quando si seleziona il tipo di forza lavoro e il team di lavoro.

Tipo di attività

Quando crei un processo di etichettatura di oggetti video o di rilevamento di oggetti video, specifica il tipo di annotazione che desideri che i worker creino durante l'attività di etichettatura. Il tipo di annotazione determina il tipo di dati di output restituiti da Ground Truth e definisce il tipo di attività per il processo di etichettatura.

Se stai creando un processo di etichettatura utilizzando l'operazione API CreateLabelingJob, specifica il tipo di attività utilizzando il parametro del file di configurazione della categoria di etichette annotationType. Per ulteriori informazioni, consulta Creazione di un file di configurazione della categoria di etichettatura con gli attributi Categoria di etichette e Attributi frame.

I seguenti tipi di attività sono disponibili sia per i processi di etichettatura di tracciamento di oggetti video che per quelli di rilevamento di oggetti video:

• Riquadro di delimitazione: ai worker vengono forniti gli strumenti per creare annotazioni di riquadri di delimitazione. Un riquadro di delimitazione è un riquadro che un operatore disegna attorno a un oggetto per identificare la posizione dei pixel e l'etichetta di quell'oggetto nel fotogramma.

• Polilinea: ai worker vengono forniti gli strumenti per creare annotazioni polilinee. Una polilinea è definita dalla serie di coordinate x, y ordinate. Ogni punto aggiunto alla polilinea è collegato al punto precedente da una linea. La polilinea non deve essere chiusa (il punto iniziale e il punto finale non devono coincidere) e non ci sono restrizioni sugli angoli formati tra le linee.

• Poligono: ai worker vengono forniti gli strumenti per creare annotazioni di poligono. Un poligono è una forma chiusa definita da una serie di coordinate x, y ordinate. Ogni punto aggiunto al poligono è collegato al punto precedente da una linea e non ci sono restrizioni sugli angoli formati tra le linee. Due linee (lati) del poligono non possono incrociarsi. Il punto iniziale di un poligono e quello finale devono coincidere.

• Keypoint: ai worker vengono forniti gli strumenti per creare annotazioni di keypoint. Un keypoint è un singolo punto associato a una coordinata x, y nel fotogramma video.

Forza lavoro

Quando crei un processo di etichettatura di fotogrammi video, devi specificare un team di lavoro che completerà le attività di annotazione. Puoi scegliere un team di lavoro da una forza lavoro privata dei propri worker o da una forza lavoro fornitore selezionata in Marketplace AWS. Non puoi utilizzare Amazon Mechanical Turk per processi di etichettatura di fotogrammi video.

Per ulteriori informazioni sulla forza lavoro fornitore, consulta Gestione di forze lavoro di fornitori.

Per informazioni su come creare e gestire una forza lavoro privata, consulta Utilizzo di una forza lavoro privata.

Interfaccia utente del worker

Ground Truth fornisce un'interfaccia utente (UI) worker, strumenti e funzioni di etichettatura assistita per aiutare i worker a completare le attività di etichettatura video. Puoi visualizzare in anteprima l'interfaccia utente del worker quando crei un processo di etichettatura nella console.

Quando crei un processo di etichettatura utilizzando l'operazione API CreateLabelingJob, devi fornire un ARN fornito da Ground Truth nel parametro HumanTaskUiArn per specificare l'interfaccia utente del worker per il tipo di attività. È possibile utilizzare HumanTaskUiArn l'operazione SageMaker RenderUiTemplateAPI per visualizzare in anteprima l'interfaccia utente del lavoratore.

Fornisci istruzioni agli operatori, etichette e, facoltativamente, attributi che i worker possono utilizzare per fornire ulteriori informazioni su etichette e fotogrammi video. Questi attributi sono denominati rispettivamente attributi di categoria di etichette e attributi di fotogramma. Sono tutti visualizzati nell'interfaccia utente del worker.

Attributi di categorie e fotogrammi di etichette

Quando crei un processo di etichettatura di oggetti video o di rilevamento di oggetti video, puoi aggiungere uno o più attributi di categoria di etichetta e attributi frame:

• Attributo di categorie di etichette: un elenco di opzioni (stringhe), una casella di testo in formato libero o un campo numerico associato a una o più etichette. Viene utilizzato dai worker per fornire metadati su un'etichetta.

• Attributo fotogramma: un elenco di opzioni (stringhe), una casella di testo in formato libero o un campo numerico che appare su ogni fotogramma video che un operatore viene inviato a annotare. Viene utilizzato dai worker per fornire metadati sui fotogrammi video.

Inoltre, puoi utilizzare gli attributi di etichetta e fotogramma per consentire agli operatori di verificare le etichette in un processo di verifica delle etichette dei fotogrammi video.

Utilizza le seguenti sezioni per avere ulteriori informazioni su questi attributi. Per informazioni su come aggiungere attributi di categoria di etichette e fotogrammi, utilizza le sezioni Crea processo di etichettatura nella pagina del tipo di attività desiderata.

Attributi categoria dell’etichetta

Aggiungi gli attributi delle categorie di etichette alle etichette per dare ai worker la possibilità di fornire maggiori informazioni sulle annotazioni che creano. Un attributo di categoria di etichetta viene aggiunto a una singola etichetta o a tutte le etichette. Quando un attributo di categoria di etichetta viene applicato a tutte le etichette, viene definito attributo di categoria di etichetta globale.

Ad esempio, se aggiungi una categoria di etichetta auto, puoi anche acquisire dati aggiuntivi sulle auto etichettate, ad esempio se sono occluse o le dimensioni dell'auto. È possibile acquisire questi metadati utilizzando gli attributi di categoria dell’etichetta. In questo esempio, se è stato aggiunto l'attributo occluso alla categoria dell'etichetta auto, è possibile assegnare parzialmente, completamente, no all'attributo occluso e i worker possono selezionare una di queste opzioni.

Quando si crea un processo di verifica delle etichette, si aggiungono gli attributi della categoria delle etichette a ogni etichetta che si desidera che i worker verifichino.

Attributi a livello di fotogramma

Aggiungi gli attributi di fotogramma per consentire agli operatori di fornire maggiori informazioni sui singoli fotogrammi video. Ogni attributo di fotogramma aggiunto viene visualizzato su tutti i fotogrammi.

Ad esempio, puoi aggiungere un attributo di numero fotogramma per consentire agli operatori di identificare il numero di oggetti che vedono in un determinato riquadro.

In un altro esempio, potresti voler fornire una casella di testo in formato libero per dare ai worker la possibilità di fornire una risposta a una domanda.

Quando crei un processo di verifica delle etichette, puoi aggiungere uno o più attributi di fotogramma per chiedere ai worker di fornire un feedback su tutte le etichette in un fotogramma video.

Istruzioni per il worker

È possibile fornire istruzioni ai worker per aiutare i dipendenti a completare le attività di etichettatura dei fotogrammi. Potresti voler trattare i seguenti argomenti quando scrivi le istruzioni:

• Procedure consigliate e cose da evitare quando si annotano gli oggetti.

• Attributi delle categorie di etichette forniti (per le attività di rilevamento degli oggetti e monitoraggio degli oggetti) e come utilizzarli.

• Come risparmiare tempo durante l'etichettatura utilizzando le scelte rapide da tastiera.

È possibile aggiungere le istruzioni del lavoratore utilizzando la SageMaker console durante la creazione di un lavoro di etichettatura. Se crei un processo di etichettatura utilizzando l'operazione API CreateLabelingJob, specificare le istruzioni del worker nel file di configurazione della categoria di etichette.

Oltre alle istruzioni, GroundTruth fornisce un collegamento per consentire ai worker di spostarsi e utilizzare il portale dei worker. Visualizza queste istruzioni selezionando il tipo di attività su Istruzioni per il worker.

Rifiuto delle attività

I worker possono rifiutare le attività.

I worker rifiutano un'attività se le istruzioni non sono chiare, i dati di input non vengono visualizzati correttamente o se riscontrano altri problemi con l'attività. Se il numero di worker per oggetto set di dati (NumberOfHumanWorkersPerDataObject) rifiuta l'attività, l'oggetto dati viene contrassegnato come scaduto e non verrà inviato ad altri worker.

Requisiti di autorizzazione per processi di fotogrammi video

Quando crei un processo di etichettatura di fotogrammi video, oltre ai requisiti di autorizzazione disponibili in Assegnare le autorizzazioni IAM per utilizzare Ground Truth, è necessario aggiungere una policy CORS al bucket S3 contenente il file manifest di input.

Aggiunta di una policy di autorizzazione CORS al bucket S3

Quando crei un processo di etichettatura di fotogrammi video, specifichi i bucket in S3 in cui si trovano i dati di input e il file manifest e dove verranno archiviati i dati di output. Questi bucket possono essere gli stessi. Devi collegare la policy CORS (Cross-Origin Resource Sharing) seguente ai bucket di input e output. Se utilizzi la console Amazon S3 per aggiungere la policy al tuo bucket, devi utilizzare il formato JSON.

JSON

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "GET",
            "HEAD",
            "PUT"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": [
            "Access-Control-Allow-Origin"
        ],
        "MaxAgeSeconds": 3000
    }
]

XML

<?xml version="1.0" encoding="UTF-8"?>
<CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<CORSRule>
    <AllowedOrigin>*</AllowedOrigin>
    <AllowedMethod>GET</AllowedMethod>
    <AllowedMethod>HEAD</AllowedMethod>
    <AllowedMethod>PUT</AllowedMethod>
    <MaxAgeSeconds>3000</MaxAgeSeconds>
    <ExposeHeader>Access-Control-Allow-Origin</ExposeHeader>
    <AllowedHeader>*</AllowedHeader>
</CORSRule>
</CORSConfiguration>

Per informazioni su come aggiungere una policy CORS a un bucket S3, consulta How do I add cross-domain resource sharing with CORS? nella Guida per l’utente di Amazon Simple Storage.