Rilevamento di oggetti della nuvola di punti 3D

Utilizza questo tipo di attività quando i lavoratori devono classificare gli oggetti in una nuvola di punti 3D disegnando cuboidi 3D attorno agli oggetti. Ad esempio, puoi utilizzare questo tipo di attività per chiedere ai lavoratori di identificare in una nuvola di punti diversi tipi di oggetti, ad esempio automobili, biciclette e pedoni.

Per questo tipo di attività, l'oggetto dati etichettato dai lavoratori è un singolo frame nuvola di punti. Ground Truth esegue il rendering di una nuvola di punti 3D utilizzando i dati della nuvola di punti forniti dall'utente. Puoi inoltre fornire i dati della telecamera per offrire ai lavoratori maggiori informazioni visive sulle scene nel frame e per aiutare i lavoratori a disegnare i cuboidi 3D attorno agli oggetti.

Ground Truth fornisce ai lavoratori gli strumenti per annotare gli oggetti con 9 gradi di libertà (x, y, z, rx, ry, rz, l, w, h) in tre dimensioni sia nelle visualizzazioni di scena 3D che nelle visualizzazioni laterali proiettate (superiore, laterale e posteriore). Se specifichi le informazioni sulla fusione dei sensori (come i dati della telecamera), quando un lavoratore aggiunge un cuboide per identificare un oggetto nella nuvola di punti 3D, il cuboide viene visualizzato e può essere modificato nelle immagini 2D. Dopo l'aggiunta di un cuboide, tutte le modifiche apportate a quel cuboide nella scena 2D o 3D vengono proiettate nell'altra visualizzazione.

Puoi creare un processo per adattare le annotazioni create in un processo di etichettatura di rilevamento di oggetti della nuvola di punti 3D utilizzando il tipo di attività di adattamento del rilevamento di oggetti della nuvola di punti 3D.

Se non hai familiarità con la modalità di etichettatura della nuvola di punti 3D Ground Truth, ti consigliamo di leggere Panoramica sui processi di etichettatura cloud di punti 3D. Questa modalità di etichettatura è diversa da altri tipi di attività Ground Truth e in questa pagina viene fornita una panoramica dei dettagli importanti di cui devi essere consapevole quando crei un processo di etichettatura della nuvola di punti 3D.

Visualizza l’interfaccia dell’attività del lavoratore

Ground Truth fornisce ai lavoratori un portale Web e gli strumenti per completare le attività di annotazione del rilevamento di oggetti della nuvola di punti 3D. Quando crei il processo di etichettatura, fornisci il nome della risorsa Amazon (ARN) per un'interfaccia utente di lavoro Ground Truth predefinita nel parametro HumanTaskUiArn. Quando crei un processo di etichettatura utilizzando questo tipo di attività nella console, l'interfaccia utente di lavoro viene utilizzata automaticamente. Puoi visualizzare in anteprima e interagire con l'interfaccia utente di lavoro quando crei un processo di etichettatura nella console. Se non hai familiarità ti consigliamo di creare un processo di etichettatura utilizzando la console per assicurarti che gli attributi di etichetta, i frame della nuvola di punti e, se applicabile, le immagini vengano visualizzati come previsto.

Di seguito è riportata una GIF dell'interfaccia delle attività del lavoratore di rilevamento di oggetti della nuvola di punti 3D. Se specifichi i dati della telecamera per la fusione dei sensori nel sistema di coordinate globale, le immagini vengono abbinate a scene nel frame della nuvola di punti. Queste immagini vengono visualizzate nel portale dei lavoratori, come illustrato nella seguente GIF.

Il lavoratore può navigare nella scena 3D utilizzando la tastiera e il mouse. In particolare, può:

• Fare doppio clic su oggetti specifici nella nuvola di punti per ingrandirli.

• Usare un mouse con rotella di scorrimento o un trackpad per ingrandire e ridurre la nuvola di punti.

• Utilizzare entrambi i tasti freccia della tastiera e i tasti Q, E, A e D per spostarsi Su, Giù, Sinistra, Destra. Utilizzare i tasti della tastiera W e S per ingrandire e ridurre.

Una volta che un lavoratore posiziona un cuboide nella scena 3D, viene mostrata una visualizzazione laterale con le tre visualizzazioni laterali proiettate: superiore, laterale e posteriore. Queste visualizzazioni laterali mostrano i punti all'interno e attorno al cuboide posizionato e consentono ai lavoratori di perfezionare i limiti del cuboide in quell'area. I lavoratori possono ingrandire e ridurre ciascuna di queste visualizzazioni laterali utilizzando il mouse.

Il video seguente mostra i movimenti intorno alla nuvola di punti 3D e nella visualizzazione laterale.

Altre opzioni di visualizzazione e caratteristiche sono disponibili nel menu Visualizza dell'interfaccia utente di lavoro. Consulta la pagina delle istruzioni per il lavoratore per una panoramica completa dell'interfaccia utente di lavoro.

Strumenti di etichettatura assistita

Ground Truth consente ai lavoratori di annotare le nuvole di punti 3D in modo più rapido e accurato utilizzando gli strumenti di etichettatura assistita basati sul Machine Learning e sugli strumenti di etichettatura assistita basati sul computer per le attività di monitoraggio di oggetti della nuvola di punti 3D. Per questo tipo di attività sono disponibili i seguenti strumenti di etichettatura assistita:

• Aggancio – I lavoratori possono aggiungere un cuboide attorno a un oggetto e utilizzare un tasto di scelta rapida o un'opzione di menu per fare in modo che lo strumento di autofit di Ground Truth agganci saldamente il cuboide attorno all'oggetto.

• Aggancio a terra – Dopo che un lavoratore aggiunge un cuboide alla scena 3D può automaticamente agganciare il cuboide al terreno. Ad esempio, il lavoratore può utilizzare questa caratteristica per agganciare un cuboide sulla strada o sul marciapiede nella scena.

• Etichettatura di più visualizzazioni – Dopo che un lavoratore aggiunge un cuboide 3D alla scena 3D, un pannello laterale visualizza le prospettive frontali, laterali e superiori per aiutare il lavoratore ad adattare il cuboide attorno all'oggetto. In tutte queste visualizzazioni, il cuboide include una freccia che indica l'orientamento o l'intestazione dell'oggetto. Quando il lavoratore adatta il cuboide, l'adattamento apparirà in tempo reale su tutte le visualizzazioni (ovvero 3D, superiore, laterale e anteriore).

• Fusione dei sensori – Se fornisci i dati per la fusione dei sensori, i lavoratori possono adattare nelle scene 3D e nelle immagini 2D le annotazioni che quindi verranno proiettate nell'altra visualizzazione in tempo reale. Inoltre, i lavoratori hanno la possibilità di visualizzare la direzione in cui la telecamera è rivolta e il frustum della telecamera.

• Opzioni di visualizzazione – Consente ai lavoratori di nascondere o visualizzare facilmente i cuboidi, il testo dell'etichetta, una maglia a terra e altri attributi di punto come il colore o l'intensità. I lavoratori possono anche scegliere tra proiezioni prospettiche e ortogonali.

Creazione di un processo di etichettatura per il rilevamento di oggetti 3D della nuvola di punti

È possibile creare un lavoro di etichettatura di nuvole di punti 3D utilizzando la SageMaker console o il funzionamento dell'API, CreateLabelingJob. Per creare un processo di etichettatura per questo tipo di attività è necessario quanto segue:

• Un file manifest di input a frame singolo. Per informazioni su come creare questo tipo di file manifest, consulta Creazione di un file manifest di input del frame di nuvola di punti. Se non hai familiarità con le modalità di etichettatura della nuvola di punti 3D Ground Truth, consulta Formati dati 3D non elaborati accettati.

• Un team di lavoro di una forza lavoro privata o di fornitore. Non puoi utilizzare Amazon Mechanical Turk per lavori di etichettatura di frame video. Per informazioni su come creare forza lavoro e team di lavoro, consulta Creare e gestire le forze lavoro.

Inoltre, assicurati di aver esaminato e applicato quanto descritto in Assegnare le autorizzazioni IAM per utilizzare Ground Truth.

Le sezioni seguenti forniscono informazioni su come creare un processo di etichettatura utilizzando la console o un'API.

Creazione di un processo di etichettatura (console)

Puoi seguire le istruzioni Creazione di un processo di etichettatura (console) per imparare a creare un processo di etichettatura di oggetti con nuvole di punti 3D nella SageMaker console. Durante la creazione del processo di etichettatura, tieni presente quanto segue:

• Il file manifest di input deve essere un file manifest a frame singolo. Per ulteriori informazioni, consulta Creazione di un file manifest di input del frame di nuvola di punti.

• Facoltativamente puoi fornire la categoria di etichetta e gli attributi frame. I lavoratori possono assegnare uno o più di questi attributi alle annotazioni per fornire ulteriori informazioni sull'oggetto. Ad esempio, puoi utilizzare l'attributo occluded per consentire ai lavoratori di individuare quando un oggetto è parzialmente ostruito.

• L'etichettatura automatizzata dei dati e il consolidamento dell'annotazione non sono supportati per le attività di etichettatura della nuvola di punti 3D.

• I processi di etichettatura di rilevamento di oggetti della nuvola di punti 3D possono richiedere diverse ore per essere completati. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura quando selezioni il team di lavoro (fino a 7 giorni o 604800 secondi).

Creazione di un processo di etichettatura (API)

Questa sezione descrive i dettagli che è necessario conoscere quando si crea un lavoro di etichettatura utilizzando l'operazione SageMaker API. CreateLabelingJob Questa API definisce questa operazione per tutti gli AWS SDK. Per visualizzare l'elenco degli SDK specifici del linguaggio supportati per questa operazione, consulta la sezione Vedi anche di CreateLabelingJob.

Creazione di un processo di etichettatura (API) fornisce una panoramica dell'operazione CreateLabelingJob. Segui queste istruzioni ed effettua le seguenti operazioni durante la configurazione della richiesta:

• Immetti un ARN per HumanTaskUiArn. Utilizza arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection. Sostituisci <region> con la regione AWS in cui stai creando il processo di etichettatura.

  Non inserire una voce per il parametro UiTemplateS3Uri.

• Il file manifest di input deve essere un file manifest a frame singolo. Per ulteriori informazioni, consulta Creazione di un file manifest di input del frame di nuvola di punti.

• Specifica le etichette, la categoria di etichette e gli attributi frame, e le istruzioni per il lavoratore in un file di configurazione della categoria di etichetta. Per informazioni su come creare questo file, consulta Creazione di un file di configurazione della categoria di etichettatura con gli attributi Categoria di etichette e Attributi frame.

• Devi fornire un ARN predefinito per le funzioni Lambda di preannotazione e postannotazione (ACS). Questi ARN sono specifici della regione AWS utilizzata per creare il processo di etichettatura.

  • Per trovare l'ARN Lambda di preannotazione, fai riferimento a PreHumanTaskLambdaArn. Utilizza la regione in cui stai creando il processo di etichettatura per trovare l'ARN corretto. Ad esempio, se stai creando il processo di etichettatura in us-east-1, l'ARN sarà arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection.

  • Per trovare l'ARN Lambda di postannotazione, fai riferimento a AnnotationConsolidationLambdaArn. Utilizza la regione in cui stai creando il processo di etichettatura per trovare l'ARN corretto. Ad esempio, se stai creando il processo di etichettatura in us-east-1, l'ARN sarà arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection.

• Il numero di lavoratori specificato in NumberOfHumanWorkersPerDataObject deve essere 1.

• L'etichettatura automatizzata dei dati non è supportata per i processi di etichettatura della nuvola di punti 3D. Non è necessario specificare i valori per i parametri in LabelingJobAlgorithmsConfig.

• I processi di etichettatura di rilevamento di oggetti della nuvola di punti 3D possono richiedere diverse ore per essere completati. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura in TaskTimeLimitInSeconds (fino a 7 giorni o 604.800 secondi).

Creazione di un processo di rilevamento di oggetti della nuvola di punti 3D o di etichettatura di verifica

Puoi creare un processo di regolazione o di etichettatura di verifica dell'etichetta utilizzando la console Ground Truth o l'API CreateLabelingJob. Per ulteriori informazioni sui processi di etichettatura di regolazione e di etichettatura di verifica e per scoprire come crearne uno, consulta Verifica e regolazione delle etichette.

Quando crei un processo di etichettatura di regolazione, i dati di input per il processo di etichettatura possono includere etichette e misurazioni di imbardata, rollio e beccheggio tratte da un precedente lavoro di etichettatura o da un’origine esterna. Nel processo di regolazione, beccheggio e rollio verranno visualizzati nell'interfaccia utente del lavoratore, ma non possono essere modificati. L'imbardata è regolabile.

Ground Truth utilizza gli angoli di Tait-Bryan con le seguenti rotazioni intrinseche per visualizzare imbardata, beccheggio e rollio nell'interfaccia utente del lavoratore. Innanzitutto, la rotazione viene applicata al veicolo in base all'asse z (imbardata). Successivamente, il veicolo ruotato viene ruotato secondo l'asse y intrinseco (beccheggio). Infine, il veicolo viene ruotato secondo l'asse x intrinseco (rollio).

Formato dei dati di output

Quando crei un processo di etichettatura di rilevamento di oggetti della nuvola di punti 3D, le attività vengono inviate ai lavoratori. Quando questi lavoratori completano le attività, le etichette vengono scritte nel bucket Amazon S3 specificato al momento della creazione del processo di etichettatura. Il formato dei dati di output determina ciò che vedi nel tuo bucket Amazon S3 quando lo stato del processo di etichettatura () è. LabelingJobStatusCompleted

Se non hai familiarità con Ground Truth, consulta Dati di output per ulteriori informazioni sul formato dei dati di output in Ground Truth. Per informazioni sul formato dei dati di output del rilevamento di oggetti della nuvola di punti 3D, consulta Output del rilevamento di oggetti della nuvola di punti 3D.