Détecter les discours toxiques

La détection des discours toxiques est conçue pour aider à modérer les plateformes de réseaux sociaux qui impliquentpeer-to-peerdialogue, tel que les jeux en ligne et les plateformes de chat social. L'utilisation d'un discours toxique peut être profondément préjudiciable aux individus, aux groupes de pairs et aux communautés. Le signalement du langage injurieux aide les organisations à garder les conversations courtoises et à maintenir un environnement en ligne sûr et inclusif permettant aux utilisateurs de créer, de partager et de participer librement.

Amazon TranscribeLa détection de la toxicité utilise à la fois des signaux audio et textuels pour identifier et classer les contenus toxiques basés sur la voix en sept catégories, notamment le harcèlement sexuel, les discours de haine, les menaces, les abus, les blasphèmes, les insultes et les images graphiques. Outre le texte,Amazon TranscribeLa détection de la toxicité utilise des indices vocaux, tels que les tonalités et la tonalité, pour identifier les intentions toxiques présentes dans le discours. Il s'agit d'une amélioration par rapport aux systèmes de modération de contenu standard qui sont conçus pour se concentrer uniquement sur des termes spécifiques, sans tenir compte de l'intention.

Amazon Transcribesignale et classe les propos toxiques, ce qui minimise le volume de données devant être traitées manuellement. Cela permet aux modérateurs de contenu de gérer rapidement et efficacement le discours sur leurs plateformes.

Les catégories de discours toxiques incluent :

• Blasphème: Discours qui contient des mots, des phrases ou des acronymes impolis, vulgaires ou offensants.

• Discours de haine: Discours qui critique, insulte, dénonce ou déshumanise une personne ou un groupe sur la base d'une identité (telle que la race, l'origine ethnique, le sexe, la religion, l'orientation sexuelle, les capacités et l'origine nationale).

• Sexuel: Discours qui indique un intérêt, une activité ou une excitation sexuels en utilisant des références directes ou indirectes à des parties du corps, à des traits physiques ou à des relations sexuelles.

• Insultes: Discours comportant un langage dégradant, humiliant, moqueur, insultant ou dénigrant. Ce type de langage est également qualifié d'intimidation.

• Violence ou menace: Discours qui inclut des menaces visant à infliger de la douleur, des blessures ou de l'hostilité à une personne ou à un groupe.

• Graphique: Discours qui utilise des images visuellement descriptives et désagréablement vives. Ce type de langage est souvent intentionnellement verbeux pour amplifier l'inconfort du destinataire.

• Harcèlement ou abus: Discours destiné à affecter le bien-être psychologique du destinataire, y compris en termes humiliants et objectivants. Ce type de langage est également qualifié de harcèlement.

La détection de la toxicité analyse les segments de parole (le discours entre les pauses naturelles) et attribue des scores de confiance à ces segments. Les scores de confiance sont des valeurs comprises entre 0 et 1. Un score de confiance plus élevé indique une plus grande probabilité que le contenu soit un discours toxique dans la catégorie associée. Vous pouvez utiliser ces scores de confiance pour définir le seuil de détection de toxicité approprié pour votre cas d'utilisation.

Note

La détection de la toxicité n'est disponible que pour les transcriptions par lots en anglais américain(en-US).

Afficherexemple de sortieau format JSON.