Moderazione dei contenuti - Amazon Rekognition

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Moderazione dei contenuti

Puoi usare Amazon Rekognition per rilevare contenuti inappropriati, indesiderati o offensivi. Puoi utilizzare le API di moderazione di Rekognition nei social media, nei media radiotelevisivi, nella pubblicità e nell'e-commerce per creare un'esperienza utente più sicura, fornire garanzie di sicurezza del marchio agli inserzionisti e rispettare le normative locali e globali.

Oggi, molte aziende si affidano esclusivamente a moderatori umani per esaminare i contenuti di terze parti o generati dagli utenti, mentre altre reagiscono semplicemente ai reclami degli utenti rimuovendo immagini, annunci o video offensivi o inappropriati. Tuttavia, i moderatori umani da soli non sono in grado di soddisfare queste esigenze con una qualità o una velocità sufficienti, il che comporta un'esperienza utente scadente, costi elevati per raggiungere la scalabilità o persino una perdita di reputazione del marchio. Utilizzando Rekognition per la moderazione di immagini e video, i moderatori umani possono esaminare un set di contenuti molto più piccolo, in genere dall'1 al 5% del volume totale, già contrassegnato dal machine learning. Ciò consente loro di concentrarsi su attività più importanti e di ottenere comunque una copertura di moderazione completa a una frazione dei costi esistenti. Per configurare forza lavoro umana ed eseguire attività di revisione umana, puoi utilizzare IA aumentata Amazon, che è già integrato con Rekognition.

Puoi migliorare la precisione del modello di deep learning di moderazione con la funzionalità di moderazione personalizzata. Con la moderazione personalizzata, puoi addestrare un adattatore di moderazione personalizzato caricando le tue immagini e annotandole. L'adattatore addestrato può quindi essere fornito all'operazione DetectModerationLabels per migliorarne le prestazioni sulle immagini. Per ulteriori informazioni, consulta Migliorare la precisione con la moderazione personalizzata.

Etichette supportate dalle operazioni di moderazione dei contenuti di Rekognition

Il diagramma seguente mostra l'ordine delle operazioni di chiamata, a seconda degli obiettivi prefissati per l'utilizzo dei componenti immagine o video di Content Moderation:

Diagramma di flusso che illustra i passaggi per la moderazione di immagini e video.

Utilizzo delle API di moderazione di immagini e video

Nell'API Amazon Rekognition Image, puoi rilevare contenuti inappropriati, indesiderati o offensivi in modo sincrono utilizzando Labels e utilizzando e operazioni in modo DetectModerationasincrono. StartMediaAnalysisJobGetMediaAnalysisJob Puoi utilizzare l'API Amazon Rekognition Video per rilevare tali contenuti in modo asincrono utilizzando le operazioni di moderazione e moderazione. StartContent GetContent

Categorie di etichette

Amazon Rekognition utilizza una tassonomia gerarchica a tre livelli per etichettare le categorie di contenuti inappropriati, indesiderati o offensivi. Ogni etichetta con livello di tassonomia 1 (L1) ha una serie di etichette di livello 2 (L2) e alcune etichette di livello di tassonomia 2 possono avere etichette di livello di tassonomia 3 (L3). Ciò consente una classificazione gerarchica del contenuto.

Per ogni etichetta di moderazione rilevata, l'API restituisce anche ilTaxonomyLevel, che contiene il livello (1, 2 o 3) a cui appartiene l'etichetta. Ad esempio, un'immagine può essere etichettata in base alla seguente categorizzazione:

L1: Nudità non esplicita di parti intime e baci, L2: Nudità non esplicita, L3: nudità implicita.

Nota

Ti consigliamo di utilizzare le categorie L1 o L2 per moderare i tuoi contenuti e di utilizzare le categorie L3 solo per rimuovere concetti specifici che non desideri moderare (ad esempio per rilevare contenuti che potresti non voler classificare come contenuti inappropriati, indesiderati o offensivi in base alla tua politica di moderazione).

La tabella seguente mostra le relazioni tra i livelli di categoria e le possibili etichette per ogni livello. Per scaricare un elenco delle etichette di moderazione, fai clic qui.

Categoria di primo livello (L1) Categoria di secondo livello (L2) Categoria di terzo livello (L3) Definizioni
Esplicito Nudità esplicita Genitali maschili esposti Genitali umani maschili, compreso il pene (eretto o flaccido), lo scroto e tutti i peli pubici visibili. Questo termine è applicabile in contesti che coinvolgono l'attività sessuale o qualsiasi contenuto visivo in cui i genitali maschili vengono visualizzati completamente o parzialmente.
Genitali femminili esposti Parti esterne del sistema riproduttivo femminile, che comprendono la vulva, la vagina e tutti i peli pubici visibili. Questo termine è applicabile in scenari che coinvolgono l'attività sessuale o qualsiasi contenuto visivo in cui questi aspetti dell'anatomia femminile vengono visualizzati completamente o parzialmente.
Glutei o ano esposti Glutei o ano umani, compresi i casi in cui i glutei sono nudi o quando sono distinguibili attraverso abiti trasparenti. La definizione si applica specificamente alle situazioni in cui i glutei o l'ano sono direttamente e completamente visibili, esclusi i casi in cui qualsiasi forma di biancheria intima o abbigliamento offra una copertura totale o parziale.
Capezzolo femminile esposto Capezzoli femminili umani, compresi l'aerola (area che circonda i capezzoli) e i capezzoli completamente visibili e parzialmente visibili.
Attività sessuale esplicita N/D Rappresentazione di atti sessuali reali o simulati che comprendono rapporti sessuali umani, sesso orale, nonché la stimolazione genitale maschile e la stimolazione genitale femminile da parte di altre parti e oggetti del corpo. Il termine include anche l'eiaculazione o i fluidi vaginali sulle parti del corpo e le pratiche erotiche o i giochi di ruolo che implicano schiavitù, disciplina, dominanza e sottomissione e sadomasochismo.
Giocattoli sessuali N/D Oggetti o dispositivi utilizzati per la stimolazione o il piacere sessuale, ad esempio dildo, vibratore, plug anale, battiti, ecc.
Nudità non esplicita di parti intime e baci Nudità non esplicita Schiena nuda Parte posteriore umana dove la maggior parte della pelle è visibile dal collo all'estremità della colonna vertebrale. Questo termine non si applica quando la schiena dell'individuo è parzialmente o completamente occlusa.
Capezzolo maschile esposto Capezzoli umani maschili, compresi i capezzoli parzialmente visibili.
Glutei parzialmente esposti Glutei umani parzialmente esposti. Questo termine include una regione parzialmente visibile dei glutei o delle guance a causa di abiti corti, o la parte superiore parzialmente visibile della fessura anale. Il termine non si applica ai casi in cui i glutei sono completamente nudi.
Seno femminile parzialmente esposto Seno femminile umano parzialmente esposto in cui una parte del seno femminile è visibile o scoperta ma non rivela l'intero seno. Questo termine si applica quando la regione della piega interna del seno è visibile o quando la piega inferiore del seno è visibile con il capezzolo completamente coperto o occluso.
Nudità implicita Un individuo nudo, in topless o senza fondo, ma con parti intime come glutei, capezzoli o genitali coperte, occluse o non completamente visibili.
Parti intime ostruite Capezzolo femminile ostruito Rappresentazione visiva di una situazione in cui i capezzoli di una donna sono coperti da indumenti o rivestimenti opachi, ma le loro forme sono chiaramente visibili.
Genitali maschili ostruiti Rappresentazione visiva di una situazione in cui i genitali o il pene di un uomo sono coperti da indumenti o rivestimenti opachi, ma la sua forma è chiaramente visibile. Questo termine si applica quando i genitali ostruiti nell'immagine sono ravvicinati.
Baciarsi sulle labbra N/D Rappresentazione delle labbra di una persona che entrano in contatto con le labbra di un'altra persona.
Costumi da bagno o biancheria intima Costumi da bagno o biancheria intima femminili N/D Abbigliamento umano per costumi da bagno femminili (ad es. costumi da bagno interi, bikini, tankini, ecc.) e biancheria intima femminile (ad esempio reggiseni, mutandine, slip, lingerie, perizoma, ecc.)
Costumi da bagno o biancheria intima maschili N/D Abbigliamento umano per costumi da bagno maschili (ad es. costume da bagno, pantaloncini da surf, slip da bagno, ecc.) e biancheria intima maschile (ad es. slip, boxer, ecc.)
Violenza Armi N/D Strumenti o dispositivi utilizzati per causare danni a esseri viventi, strutture o sistemi. Ciò include armi da fuoco (ad esempio pistole, fucili, mitragliatrici, ecc.), armi affilate (ad esempio spade, coltelli, ecc.), esplosivi e munizioni (ad esempio missili, bombe, proiettili, ecc.).
Violenza grafica Violenza con armi L'uso di armi per causare danni, lesioni o morte a se stessi, ad altri individui o proprietà.
Violenza fisica L'atto di arrecare danno ad altre persone o proprietà (ad esempio, colpire, combattere, tirarsi i capelli, ecc.) o altro atto di violenza che coinvolge la folla o più individui.
Autolesionismo L'atto di farsi del male, spesso tagliando parti del corpo come braccia o gambe, dove i tagli sono generalmente visibili.
Sangue e sangue Rappresentazione visiva della violenza su una persona, un gruppo di individui o animali, con ferite aperte, spargimenti di sangue e parti del corpo mutilate.
Esplosioni ed esplosioni Raffigurazione di un'esplosione violenta e distruttiva di fiamme intense con fumo denso o polvere e fumo che esplode dal terreno.
Immagini forti Morte ed emaciazione Corpi emaciati Corpi umani estremamente magri e denutriti con grave deperimento fisico e esaurimento dei muscoli e dei tessuti adiposi.
Cadaveri Cadaveri umani sotto forma di corpi mutilati, cadaveri impiccati o scheletri.
Si schianta Incidente aereo Incidenti con veicoli aerei, come aeroplani, elicotteri o altri veicoli volanti, con conseguenti danni, lesioni o morte. Questo termine si applica quando parti dei veicoli aerei sono visibili.
Droghe e tabacco Prodotti Pillole Tavoli o capsule piccoli, solidi, spesso rotondi o ovali. Questo termine si applica alle pillole presentate singolarmente, in un flacone o in una bustina trasparente e non si applica alla rappresentazione visiva di una persona che assume pillole.
Farmaci e accessori e uso del tabacco Fumare L'atto di inalare, espirare e accendere sostanze che bruciano tra cui sigarette, sigari, sigarette elettroniche, narghilè o spinelli.
Alcol Uso di alcol Bere L'atto di bere bevande alcoliche da bottiglie o bicchieri di alcol o liquori.
Bevande alcoliche N/D Primo piano di una o più bottiglie di alcol o liquore, bicchieri o tazze con alcol o liquore e bicchieri o tazze con alcol o liquore detenuti da una persona. Questo termine non si applica a un individuo che beve da bottiglie o bicchieri di alcol o liquori.
Gesti maleducati Dito medio N/D La rappresentazione visiva di un gesto della mano con il dito medio viene estesa verso l'alto mentre le altre dita sono piegate verso il basso.
Gioco d'azzardo N/D N/D L'atto di partecipare a giochi d'azzardo per avere la possibilità di vincere un premio nei casinò, ad esempio carte da gioco, blackjack, roulette, slot machine nei casinò, ecc.
Simboli di odio Partito nazista N/D Rappresentazione visiva di simboli, bandiere o gesti associati al partito nazista.
Supremazia bianca N/D Rappresentazione visiva di simboli o abiti associati al Ku Klux Klan (KKK) e immagini con bandiere confederate.
Estremista N/D Immagini contenenti bandiere di gruppi estremisti e terroristici.

Non tutte le etichette della categoria L2 hanno un'etichetta supportata nella categoria L3. Inoltre, le etichette L3 sotto le etichette «Prodotti» e «Accessori e uso di droghe e tabacco» L2 non sono esaustive. Queste etichette L2 coprono concetti che vanno oltre le suddette etichette L3 e in tali casi, nella risposta API vengono restituite solo le etichette L2.

Puoi determinare l'idoneità dei contenuti in base all'applicazione. Ad esempio, le immagini con contenuti spinti possono essere accettabili, ma le immagini contenenti nudità no. Per filtrare le immagini, usa l'array di ModerationLabeletichette restituito da DetectModerationLabels (images) e by GetContentModeration (videos).

Tipo di contenuto

L'API può anche identificare il tipo di contenuto animato o illustrato e il tipo di contenuto viene restituito come parte della risposta:

  • I contenuti animati includono videogiochi e animazioni (ad esempio cartoni animati, fumetti, manga, anime).

  • I contenuti illustrati includono disegni, dipinti e schizzi.

Confidence

È possibile impostare la soglia di fiducia utilizzata da Amazon Rekognition per rilevare contenuto inappropriato specificando il parametro di input MinConfidence. Le etichette non vengono restituite per i contenuti inappropriati rilevati con un livello di affidabilità inferiore a MinConfidence.

Specificando un valore inferiore al 50% è probabile MinConfidence che si ottengano un numero elevato di risultati falsi positivi (ad esempio un richiamo più elevato, una precisione inferiore). D'altra parte, specificando un valore MinConfidence superiore al 50% è probabile che si ottenga un numero inferiore di risultati falsi positivi (ad esempio un richiamo inferiore, una precisione maggiore). Se non si specifica un valore per MinConfidence, Amazon Rekognition restituisce etichette per contenuto inappropriato rilevate con almeno un'attendibilità del 50%.

La matrice ModerationLabel contiene etichette nelle categorie precedenti e una stima dell'affidabilità sulla precisione dei contenuti riconosciuti. Un'etichetta di primo livello viene restituita insieme alle etichette di secondo livello identificate. Ad esempio, Amazon Rekognition può restituire "Nudità esplicita" con un punteggio di affidabilità elevato, come un'etichetta di primo livello. Questo potrebbe essere sufficiente per le tue esigenze di filtraggio. Tuttavia, se necessario, puoi utilizzare il punteggio di affidabilità di un'etichetta di secondo livello (ad esempio "Graphic Male Nudity" (Nudità maschile grafica)) per ottenere un filtro più granulare. Per vedere un esempio, consulta Rilevamento di immagini inappropriate.

Controllo delle versioni

Immagini Amazon Rekognition e Video Amazon Rekognition restituiscono entrambi la versione del modello di rilevamento della moderazione utilizzato per rilevare contenuti inappropriati (ModerationModelVersion).

Ordinamento e aggregazione

Quando recuperi i risultati con GetContentModeration, puoi ordinare e aggregare i risultati.

Ordinamento - La matrice di etichette restituite viene ordinata in base all'ora. Per ordinare in base all'etichetta, specificare NAME nel parametro di input SortBy per GetContentModeration. Se l'etichetta viene visualizzata più volte nel video, saranno presenti più istanze dell'elemento ModerationLabel.

Informazioni sull'etichetta: l'elemento dell' ModerationLabelsarray contiene un ModerationLabel oggetto, che a sua volta contiene il nome dell'etichetta e la fiducia che Amazon Rekognition ha nell'accuratezza dell'etichetta rilevata. Il timestamp è l'ora in cui è ModerationLabel stato rilevato, definito come il numero di millisecondi trascorsi dall'inizio del video. Per i risultati aggregati per videoSEGMENTS, vengono restituite le strutture StartTimestampMillis, EndTimestampMillis e DurationMillis che definiscono rispettivamente l'ora di inizio, l'ora di fine e la durata di un segmento.

Aggregazione: specifica in che modo i risultati vengono aggregati quando vengono restituiti. L'impostazione predefinita prevede l'aggregazione entro TIMESTAMPS. Puoi anche scegliere di aggregare perSEGMENTS, che aggrega i risultati in una finestra temporale. Vengono restituite solo le etichette rilevate durante i segmenti.

Stati dell'adattatore di moderazione personalizzato

Gli adattatori di moderazione personalizzati possono avere uno dei seguenti stati: TRAINING_IN_PROGRESS, TRAINING_COMPLETED, TRAINING_FAILED, DELETING, DEPRECATED o EXPIRED. Per una spiegazione completa di questi stati degli adattatori, vedere Gestione degli adattatori.

Nota

Amazon Rekognition non è un'autorità su e non dichiara in alcun modo di essere un filtro esaustivo di contenuti inappropriato o offensivi. Inoltre, le API di moderazione di immagini e video non rilevano se un'immagine include contenuti illegali, come ad esempio immagini che ritraggono l'abuso e lo sfruttamento sessuale dei bambini.

Test della versione 7 di Content Moderation e trasformazione della risposta dell'API

Rekognition ha aggiornato il modello di apprendimento automatico per i componenti di immagini e video della funzione di rilevamento delle etichette Content Moderation dalla versione 6.1 alla 7. Questo aggiornamento ha migliorato la precisione complessiva e ha introdotto diverse nuove categorie oltre a modificarne altre.

Se sei già un utente video della versione 6.1, ti consigliamo di intraprendere le seguenti azioni per passare senza problemi alla versione 7:

  1. Scarica e usa un SDK privato AWS (vediAWS SDK e guida all'uso per la moderazione dei contenuti versione 7 ) per chiamare l' StartContentModeration API.

  2. Consulta l'elenco aggiornato delle etichette e dei punteggi di affidabilità restituiti nella risposta o nella console dell'API. Se necessario, modificate di conseguenza la logica di post-elaborazione dell'applicazione.

  3. Il tuo account rimarrà nella versione 6.1 fino al 13 maggio 2024. Se desideri utilizzare la versione 6.1 oltre il 13 maggio 2024, contatta il team di AWS Support entro il 30 aprile 2024 per richiedere un'estensione. Possiamo estendere il tuo account in modo che rimanga sulla versione 6.1 fino al 10 giugno 2024. Se non riceveremo alcuna risposta entro il 30 aprile 2024, il tuo account verrà migrato automaticamente alla versione 7.0 a partire dal 13 maggio 2024.

AWS SDK e guida all'uso per la moderazione dei contenuti versione 7

Scarica l'SDK corrispondente al linguaggio di sviluppo scelto e consulta la guida per l'utente appropriata.

Mappature delle etichette per le versioni da 6.1 a 7

La versione 7 di moderazione dei contenuti ha aggiunto nuove categorie di etichette e modificato i nomi delle etichette esistenti in precedenza. Fai riferimento alla tabella della tassonomia che trovi in Categorie di etichette quando decidi come mappare le etichette 6.1 a 7 etichette.

Alcuni esempi di mappatura delle etichette sono disponibili nella sezione seguente. Ti consigliamo di esaminare queste mappature e le definizioni delle etichette prima di apportare gli aggiornamenti necessari in base alla logica di post-elaborazione dell'applicazione.

Schema di mappatura L1

Se utilizzi una logica di post-elaborazione che filtra solo in base alla categoria di primo livello (L1) (ad esempio, Violence ecc.) Explicit NuditySuggestive, consulta la tabella seguente per aggiornare il codice.

V6.1 L1 V7 L1
Nudità esplicita Esplicito
Contenuti allusivi Nudità non esplicita di parti intime e baci
Costumi da bagno o biancheria intima
Violenza Violenza
Immagini forti Immagini forti
Gesti maleducati Gesti maleducati
Droghe Farmaci e tabacco
Tabacco Droghe e tabacco
Alcol Alcol
Gioco d'azzardo Gioco d'azzardo
Simboli di odio Simboli di odio

Schema di mappatura L2

Se utilizzi una logica di post-elaborazione che filtra in base a entrambe le categorie L1 e L2 (ad esempioExplicit Nudity / Nudity, Suggestive / Female Swimwear Or Underwear, Violence / Weapon Violence ecc.), consulta la tabella seguente per aggiornare il codice.

V6.1 L1 V6.1 L2 V7 L1 V7 L2 V7 L3 V7 ContentTypes
Nudità esplicita Nudità Esplicito Nudità esplicita

Capezzolo femminile esposto

Glutei o ano esposti

Contenuti sessuali espliciti (maschili) Esplicito Nudità esplicita Genitali maschili esposti
Contenuti sessuali espliciti (femminili) Esplicito Nudità esplicita Genitali femminili esposti
Atti sessuali Esplicito Attività sessuale esplicita
Nudità esplicita illustrata Esplicito Nudità esplicita Mappa su «Animato» e «Illustrato»
Nudità esplicita illustrata Esplicito Attività sessuale esplicita Mappa su «Animato» e «Illustrato»
Sex toy Esplicito Giocattoli sessuali
Contenuti allusivi Costumi da bagno o biancheria femminile Costumi da bagno o biancheria intima Costumi da bagno o biancheria intima femminili
Costumi da bagno o biancheria maschile Costumi da bagno o biancheria intima Costumi da bagno o biancheria intima da uomo
Nudità parziale Nudità non esplicita di parti intime e baci Nudità non esplicita Nudità implicita
Maschio a petto nudo Nudità non esplicita di parti intime e baci Nudità non esplicita Capezzolo maschile esposto
Abbigliamento provocante Nudità non esplicita di parti intime e baci Nudità non esplicita
Nudità non esplicita di parti intime e baci Parti intime ostruite
Situazioni sessuali Nudità non esplicita di parti intime e baci Baciarsi sulle labbra
Violenza Violenza o sangue grafici Violenza Violenza grafica Sangue e sangue
Violenza fisica Violenza Violenza grafica Violenza fisica
Violenza con armi Violenza Violenza grafica Violenza con armi
Armi Violenza Armi
Autolesionismo Violenza Violenza grafica Autolesionismo
Immagini forti Corpi emaciati Immagini forti Morte ed emaciazione Corpi emaciati
Cadaveri Immagini forti Morte ed emaciazione Cadaveri
Impiccagioni Immagini forti Morte ed emaciazione Cadaveri
Incidente aereo Immagini forti Si schianta Incidente aereo
Esplosioni e deflagrazioni Violenza Violenza grafica Esplosioni ed esplosioni
Gesti maleducati Dito medio Gesti maleducati Dito medio
Droghe Prodotti farmaceutici Droghe e tabacco Prodotti
Uso di droghe Droghe e tabacco Farmaci e accessori per il consumo di tabacco
Pillole Droghe e tabacco Prodotti Pillole
Accessori correllati all’uso di droghe Droghe e tabacco Farmaci e accessori per il consumo di tabacco
Tabacco Prodotti del tabacco Droghe e tabacco Prodotti
Fumare Droghe e tabacco Farmaci e accessori per il consumo di tabacco Fumare
Alcol Bere Alcol Uso di alcol Bere
Bevande alcoliche Alcol Bevande alcoliche
Gioco d'azzardo Gioco d'azzardo Gioco d'azzardo
Simboli di odio Partito nazista Simboli di odio Partito nazista
Supremazia bianca Simboli di odio Supremazia bianca
Estremista Simboli di odio Estremista