Visualizza l'interfaccia Worker Task per un lavoro di etichettatura con tracciamento di oggetti 3D-2D

Ground Truth fornisce ai worker un portale Web e gli strumenti per completare le attività di annotazione del monitoraggio di oggetti della nuvola di punti 3D-2D. Quando crei il processo di etichettatura, fornisci il nome della risorsa Amazon (ARN) per un'interfaccia utente Ground Truth predefinita nel parametro HumanTaskUiArn. Per utilizzare l'interfaccia utente quando crei un processo di etichettatura per questo tipo di attività utilizzando l'API, devi fornire il HumanTaskUiArn. Puoi visualizzare in anteprima e interagire con l'interfaccia utente di lavoro quando crei un processo di etichettatura tramite l’API. Gli strumenti di annotazione fanno parte dell'interfaccia dell’attività del worker. Non sono disponibili per l'interfaccia in anteprima. L'immagine seguente mostra l'interfaccia dell’attività del worker utilizzata per l'attività di annotazione di monitoraggio di oggetti con nuvole di punti 3D-2D.

Quando l'interpolazione è abilitata per impostazione predefinita. Dopo che un worker ha aggiunto un singolo cuboide, tale cuboide viene replicato in tutti i fotogrammi della sequenza con lo stesso ID. Se il worker regola il cuboide in un altro fotogramma, Ground Truth interpola il movimento di quell'oggetto e regola tutti i cuboidi tra i fotogrammi regolati manualmente. Inoltre, utilizzando la sezione di visualizzazione della videocamera, è possibile mostrare un cuboide con una proiezione (utilizzando il pulsante B per “alternare le etichette” nella visualizzazione della videocamera) che fornisce al worker un riferimento dalle immagini della videocamera. La precisione del cuboide rispetto alla proiezione dell'immagine si basa sulla precisione delle calibrazioni acquisite nei dati estrinseci e intrinseci.

Se specifichi i dati della telecamera per la fusione dei sensori, le immagini vengono abbinate a scene nel frame della nuvola di punti. Nota che i dati della videocamera devono essere sincronizzati in base all'ora con i dati della nuvola di punti per garantire una rappresentazione accurata della nuvola di punti rispetto alle immagini su ogni fotogramma della sequenza, come mostrato nell'immagine seguente.

Il file manifesto contiene i dati estrinseci e intrinseci e la posa per consentire la visualizzazione della proiezione del cuboide sull'immagine della videocamera utilizzando il pulsante P.

Il worker può navigare nella scena 3D utilizzando la tastiera e il mouse. In particolare, può:

• Fare doppio clic su oggetti specifici nella nuvola di punti per ingrandirli.

• Usare la rotella del mouse o un trackpad per ingrandire e ridurre la nuvola di punti.

• Usa entrambi i tasti freccia della tastiera e i tasti Q, E, A e D per spostarsi Su, Giù, Sinistra, Destra. Usa i tasti della tastiera W e S per ingrandire e ridurre.

Una volta che un worker posiziona un cuboide nella scena 3D, viene mostrata una visualizzazione laterale con le tre visualizzazioni laterali proiettate: superiore, laterale e posteriore. Queste visualizzazioni laterali mostrano i punti all'interno e attorno al cuboide posizionato e consentono ai worker di perfezionare i limiti del cuboide in quell'area. I worker possono ingrandire e ridurre ciascuna di queste visualizzazioni laterali utilizzando il mouse.

Il worker deve prima selezionare il cuboide per disegnare un riquadro di delimitazione corrispondente su una qualsiasi delle visualizzazioni della videocamera. Questo collega il cuboide e il riquadro di delimitazione con un nome comune e un ID univoco.

Il worker può anche disegnare prima un riquadro di delimitazione, selezionarlo e disegnare il cuboide corrispondente per collegarli.

Sono disponibili ulteriori opzioni di visualizzazione e caratteristiche. Consulta la pagina delle istruzioni per il worker per una panoramica completa dell'interfaccia utente di lavoro.

Strumenti per i lavoratori

I worker possono navigare nella nuvola di punti 3D eseguendo lo zoom avanti e indietro e spostandosi in tutte le direzioni intorno alla nuvola utilizzando le scelte rapide del mouse e della tastiera. Se i worker fanno clic su un punto nella nuvola di punti, l'interfaccia utente esegue lo zoom automatico in quell'area. I worker possono utilizzare vari strumenti per disegnare un cuboide 3D attorno agli oggetti. Per ulteriori informazioni, consulta Strumenti di etichettatura assistita nella discussione seguente.

Dopo che i worker hanno inserito un cuboide 3D nella nuvola di punti, possono regolare questi cuboidi per adattarsi perfettamente alle auto utilizzando una varietà di viste: direttamente nella nuvola di punti 3D, in una vista laterale con tre prospettive ingrandite della nuvola di punti attorno alla casella e, se si includono immagini per la fusione dei sensori, direttamente nell'immagine 2D.

Opzioni di visualizzazione aggiuntive consentono ai worker di nascondere o visualizzare facilmente il testo dell'etichetta, una maglia a terra e altri attributi di punto. I worker possono anche scegliere tra proiezioni prospettiche e ortogonali.

Strumenti di etichettatura assistita

Ground Truth consente ai worker di annotare le nuvole di punti 3D in modo più rapido e accurato utilizzando UX, gli strumenti di etichettatura assistita basati sul Machine Learning e gli strumenti di etichettatura assistita basati sulla visione artificiale per le attività di tracciamento di oggetti della nuvola di punti 3D. Per questo tipo di attività sono disponibili i seguenti strumenti di etichettatura assistita:

• Compilazione automatica delle etichette: quando un worker aggiunge un cuboide a un fotogramma con le stesse dimensioni, orientamento e posizione xyz, viene aggiunto automaticamente a tutti i fotogrammi della sequenza.

• Interpolazione etichette: dopo che un worker ha etichettato un singolo oggetto in due fotogrammi, Ground Truth utilizza tali annotazioni per interpolare il movimento dell'oggetto tra tutti i fotogrammi. L'interpolazione delle etichette può essere attivata e disattivata. È attivata per impostazione predefinita. Ad esempio, se un worker che lavora con 5 fotogrammi aggiunge un cuboide nel fotogramma 2, esso viene copiato in tutti i 5 fotogrammi. Se poi il worker effettua delle regolazioni nel fotogramma 4, i fotogrammi 2 e 4 a quel punto agiscono come due punti attraverso i quali viene inserita una linea. Il cuboide viene quindi interpolato nei fotogrammi 1, 3 e 5.

• Gestione in blocco di etichette e attributi: i worker possono aggiungere, eliminare e rinominare annotazioni, attributi delle categorie di etichette e attributi dei fotogrammi in blocco.

  • I worker possono eliminare manualmente le annotazioni per un determinato oggetto prima o dopo un fotogramma o in tutti i fotogrammi. Ad esempio, un worker può eliminare tutte le etichette per un oggetto dopo il frame 10 se tale oggetto non si trova più nella scena successiva al frame.

  • Se un worker elimina accidentalmente tutte le annotazioni relative a un oggetto, può aggiungerle nuovamente. Ad esempio, se un worker elimina tutte le annotazioni per un oggetto prima del frame 100, può aggiungerle in blocco a tali frame.

  • I worker possono rinominare un'etichetta in un frame e tutti i cuboidi 3D assegnati a tale etichetta vengono aggiornati con il nuovo nome in tutti i frame.

  • I worker possono utilizzare la modifica in blocco per aggiungere o modificare gli attributi delle categorie di etichette e gli attributi dei frame in più frame.

• Aggancio: i worker possono aggiungere un cuboide attorno a un oggetto e utilizzare un tasto di scelta rapida o un'opzione di menu per fare in modo che lo strumento di autofit di Ground Truth agganci saldamente il cuboide attorno ai bordi dell'oggetto.

• Adatta a terra: dopo che un worker aggiunge un cuboide alla scena 3D, il worker può automaticamente agganciare il cuboide al terreno. Ad esempio, il worker può utilizzare questa caratteristica per agganciare un cuboide sulla strada o sul marciapiede nella scena.

• Etichettatura di più visualizzazioni: dopo che un worker aggiunge un cuboide 3D alla scena 3D, un pannello laterale visualizza le prospettive frontali e a due vie per aiutare il worker ad adattare il cuboide attorno all'oggetto. I worker possono annotare il cloud di punti 3D, il pannello laterale e le regolazioni appaiono nelle altre viste in tempo reale.

• Fusione dei sensori: se fornisci i dati per la fusione dei sensori, i worker possono adattare nelle scene 3D e nelle immagini 2D le annotazioni che quindi sono proiettate nell'altra visualizzazione in tempo reale. Per ulteriori informazioni sui dati relativi alla fusione dei sensori, consulta Comprendere i sistemi di coordinate e la fusione dei sensori.

• Unisci automaticamente cuboidi: i worker possono unire automaticamente due cuboidi in tutti i fotogrammi se determinano che i cuboidi con etichette diverse rappresentano effettivamente un singolo oggetto.

• Opzioni di visualizzazione: consente ai worker di nascondere o visualizzare facilmente il testo dell'etichetta, una mesh di terra e altri attributi puntuali come il colore o l'intensità. I worker possono anche scegliere tra proiezioni prospettiche e ortogonali.