Modération du contenu - Amazon Rekognition

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Modération du contenu

Vous pouvez utiliser Amazon Rekognition pour détecter le contenu inapproprié, indésirable ou offensant. Vous pouvez utiliser les API de modération Rekognition sur les réseaux sociaux, les médias audiovisuels, la publicité et le commerce électronique afin de créer une expérience utilisateur plus sûre, garantir la sécurité de la marque aux annonceurs et vous conformer aux réglementations locales et internationales.

Aujourd’hui, de nombreuses entreprises s’appuient entièrement sur des modérateurs humains pour examiner le contenu généré par des tiers ou des utilisateurs, tandis que d’autres se contentent de réagir aux plaintes des utilisateurs pour supprimer les images, publicités ou vidéos offensantes ou inappropriées. Cependant, les modérateurs humains ne peuvent à eux seuls s’adapter pour répondre à ces besoins avec une qualité ou une rapidité suffisantes, ce qui entraîne une mauvaise expérience utilisateur, des coûts élevés pour faire face au volume, voire une perte de réputation de marque. En utilisant Rekognition pour la modération des images et des vidéos, les modérateurs humains peuvent examiner un ensemble de contenu beaucoup plus restreint, généralement de 1 à 5 % du volume total, déjà signalé par la fonctionnalité machine learning. Cela leur permet de se concentrer sur des activités plus intéressantes tout en bénéficiant d’une couverture de modération complète pour une fraction de leurs coûts actuels. Pour configurer les effectifs humains et effectuer des tâches de révision humaines, vous pouvez utiliser Amazon Augmented AI, qui est déjà intégré à Rekognition.

Vous pouvez améliorer la précision du modèle deep learning de modération grâce à la fonctionnalité de modération personnalisée. Avec la modération personnalisée, vous entraînez un adaptateur de modération personnalisé en téléchargeant vos images et en les annotant. L'adaptateur entraîné peut ensuite être fourni à l'opération DetectModerationLabels afin d'améliorer ses performances sur vos images. Pour plus d’informations, consultez Amélioration de la précision grâce à la modération personnalisée.

Étiquettes prises en charge par les opérations de modération du contenu de Rekognition

  • Pour télécharger la liste des labels de modération, cliquez ici.

Le schéma suivant montre l'ordre des opérations d'appel, en fonction de vos objectifs d'utilisation des composants image ou vidéo de Content Moderation :

Organigramme illustrant les étapes de modération des images et des vidéos.

Utilisation des API de modération d’image et de vidéo

Dans l'API Amazon Rekognition Image, vous pouvez détecter le contenu inapproprié, indésirable ou offensant de manière synchrone à l'aide des étiquettes et de manière DetectModerationasynchrone à l'aide des opérations et à l'aide. StartMediaAnalysisJobGetMediaAnalysisJob Vous pouvez utiliser l'API Amazon Rekognition Video pour détecter ce type de contenu de manière asynchrone à l'aide des opérations de modération et de modération. StartContent GetContent

Catégories d’étiquette

Amazon Rekognition utilise une taxonomie hiérarchique à trois niveaux pour étiqueter les catégories de contenu inapproprié, indésirable ou offensant. Chaque étiquette de niveau de taxonomie 1 (L1) possède un certain nombre d'étiquettes de niveau de taxonomie 2 (L2), et certaines étiquettes de niveau 2 peuvent avoir des étiquettes de niveau de taxonomie 3 (L3). Cela permet une classification hiérarchique du contenu.

Pour chaque étiquette de modération détectée, l'API renvoie également leTaxonomyLevel, qui contient le niveau (1, 2 ou 3) auquel appartient l'étiquette. Par exemple, une image peut être étiquetée conformément à la catégorisation suivante :

L1 : Nudité non explicite des parties intimes et baisers, L2 : Nudité non explicite, L3 : Nudité implicite.

Note

Nous vous recommandons d'utiliser les catégories L1 ou L2 pour modérer votre contenu et d'utiliser les catégories L3 uniquement pour supprimer les concepts spécifiques que vous ne souhaitez pas modérer (c'est-à-dire pour détecter le contenu que vous ne souhaitez peut-être pas classer comme contenu inapproprié, indésirable ou offensant en fonction de votre politique de modération).

Le tableau suivant montre les relations entre les niveaux de catégorie et les libellés possibles pour chaque niveau. Pour télécharger la liste des labels de modération, cliquez ici.

Catégorie de haut niveau (L1) Catégorie de deuxième niveau (L2) Catégorie de troisième niveau (L3) Définitions
Explicite Nudité explicite (Explicit Nudity) Organes génitaux masculins exposés Les organes génitaux masculins humains, y compris le pénis (qu'il soit en érection ou flasque), le scrotum et les poils pubiens visibles. Ce terme est applicable dans des contextes impliquant une activité sexuelle ou tout contenu visuel où les organes génitaux masculins sont affichés complètement ou partiellement.
Organes génitaux féminins exposés Parties externes du système reproducteur féminin, comprenant la vulve, le vagin et tout poil pubien observable. Ce terme est applicable dans les scénarios impliquant une activité sexuelle ou tout contenu visuel dans lequel ces aspects de l'anatomie féminine sont présentés complètement ou partiellement.
Fesses ou anus exposés Fesses ou anus humains, y compris les cas où les fesses sont nues ou lorsqu'elles sont visibles à travers des vêtements transparents. La définition s'applique spécifiquement aux situations où les fesses ou l'anus sont directement et complètement visibles, à l'exclusion des scénarios où toute forme de sous-vêtement ou de vêtement fournit une couverture complète ou partielle.
Mamelon féminin exposé Mamelons féminins humains, y compris les aéroles (zone entourant les mamelons) et les mamelons entièrement visibles et partiellement visibles.
Activité sexuelle explicite N/A Représentation d'actes sexuels réels ou simulés comprenant les rapports sexuels humains, le sexe oral, ainsi que la stimulation génitale masculine et la stimulation génitale féminine par d'autres parties du corps et objets. Le terme inclut également l'éjaculation ou les sécrétions vaginales sur des parties du corps ainsi que les pratiques érotiques ou les jeux de rôle impliquant le bondage, la discipline, la domination et la soumission, ainsi que le sadomasochisme.
Jouets sexuels N/A Objets ou appareils utilisés pour la stimulation ou le plaisir sexuels, par exemple un gode, un vibromasseur, un plug anal, des battements, etc.
Nudité non explicite des parties intimes et baisers Nudité non explicite Dos nu Partie postérieure humaine où la majeure partie de la peau est visible du cou à l'extrémité de la colonne vertébrale. Ce terme ne s'applique pas lorsque le dos de la personne est partiellement ou totalement occlus.
Mamelon masculin exposé Mamelons masculins humains, y compris les mamelons partiellement visibles.
Fesses partiellement exposées Fesses humaines partiellement exposées. Ce terme inclut une région partiellement visible des fesses ou des fessiers due à des vêtements courts, ou une partie supérieure partiellement visible de la fente anale. Le terme ne s'applique pas aux cas où les fesses sont entièrement nues.
Poitrine féminine partiellement exposée Sein féminin humain partiellement exposé où une partie du sein de la femme est visible ou découverte sans révéler la totalité du sein. Ce terme s'applique lorsque la région du pli intérieur du sein est visible ou lorsque le pli inférieur du sein est visible lorsque le mamelon est entièrement recouvert ou occlus.
Nudité implicite Personne nue, aux seins nus ou sans fond, mais dont les parties intimes, telles que les fesses, les tétons ou les organes génitaux, sont couvertes, occluses ou ne sont pas entièrement visibles.
Parties intimes obstruées Mamelon féminin obstrué Représentation visuelle d'une situation dans laquelle les mamelons d'une femme sont recouverts de vêtements ou de revêtements opaques, mais leurs formes sont clairement visibles.
Organes génitaux masculins obstrués Représentation visuelle d'une situation dans laquelle les organes génitaux ou le pénis d'un homme sont recouverts de vêtements ou de revêtements opaques, mais dont la forme est clairement visible. Ce terme s'applique lorsque les organes génitaux obstrués sur l'image sont en gros plan.
Baiser sur les lèvres N/A Représentation des lèvres d'une personne entrant en contact avec celles d'une autre personne.
Maillots de bain ou sous-vêtements Maillots de bain ou sous-vêtements féminins N/A Vêtements humains pour maillots de bain féminins (maillots de bain une pièce, bikinis, tankinis, etc.) et sous-vêtements féminins (soutiens-gorge, culottes, slips, lingerie, strings, etc.)
Maillots de bain ou sous-vêtements pour hommes N/A Vêtements humains pour maillots de bain masculins (par exemple, maillots de bain, shorts de bain, slips de bain, etc.) et sous-vêtements masculins (par exemple, slips, boxers, etc.)
Violence Armes N/A Instruments ou dispositifs utilisés pour blesser ou endommager des êtres vivants, des structures ou des systèmes. Cela inclut les armes à feu (par exemple, les fusils, les mitrailleuses, etc.), les armes tranchantes (par exemple, les épées, les couteaux, etc.), les explosifs et les munitions (par exemple, les missiles, les bombes, les balles, etc.).
Violence graphique Violence avec des armes L'utilisation d'armes pour blesser, endommager, blesser ou tuer soi-même, d'autres personnes ou des biens.
Violence physique Le fait de porter atteinte à d'autres personnes ou à des biens (par exemple, frapper, se battre, s'arracher les cheveux, etc.) ou tout autre acte de violence impliquant une foule ou plusieurs personnes.
Automutilation Le fait de se blesser soi-même, souvent en coupant des parties du corps telles que les bras ou les jambes, où les coupures sont généralement visibles.
Du sang et du sang Représentation visuelle de la violence à l'égard d'une personne, d'un groupe d'individus ou d'animaux, impliquant des blessures ouvertes, des effusions de sang et des parties du corps mutilées.
Explosions et explosions Représentation d'une explosion violente et destructrice de flammes intenses accompagnée d'une épaisse fumée ou de poussière et de fumée s'échappant du sol.
Perturbant visuellement Mort et émaciation Corps décharnés Des corps humains extrêmement maigres et sous-alimentés avec une atrophie physique sévère et un épuisement des tissus musculaires et adipeux.
Cadavres Des cadavres humains sous forme de corps mutilés, de cadavres suspendus ou de squelettes.
Collisions Accident aérien Incidents impliquant des véhicules aériens, tels que des avions, des hélicoptères ou d'autres véhicules volants, entraînant des dommages, des blessures ou la mort. Ce terme s'applique lorsque des parties des véhicules aériens sont visibles.
Drogues et tabac Produits Pilules Petites tables ou capsules solides, souvent rondes ou ovales. Ce terme s'applique aux pilules présentées séparément, dans un flacon ou dans un emballage transparent et ne s'applique pas à la représentation visuelle d'une personne prenant des pilules.
Matériel et usage des drogues et du tabac Fumer Le fait d'inhaler, d'expirer et d'allumer des substances brûlantes, notamment des cigarettes, des cigares, des cigarettes électroniques, du narguilé ou des joints.
Alcool Consommation d'alcool Boire Le fait de boire des boissons alcoolisées dans des bouteilles ou des verres d'alcool ou d'alcool.
Boissons alcoolisées N/A Gros plan d'une ou de plusieurs bouteilles d'alcool ou de spiritueux, de verres ou de mugs contenant de l'alcool ou de l'alcool, et de verres ou mugs contenant de l'alcool ou de l'alcool tenus par un individu. Ce terme ne s'applique pas à une personne qui boit dans des bouteilles ou des verres d'alcool ou d'alcool.
Gestes grossiers Doigt d’honneur N/A La représentation visuelle d'un geste de la main avec le majeur est étendue vers le haut tandis que les autres doigts sont rabattus vers le bas.
Jeu N/A N/A Le fait de participer à des jeux de hasard pour avoir la chance de gagner un prix dans les casinos, par exemple aux cartes à jouer, aux blackjacks, à la roulette, aux machines à sous dans les casinos, etc.
Symboles de haine Parti nazi N/A Représentation visuelle de symboles, de drapeaux ou de gestes associés au parti nazi.
Suprématie blanche N/A Représentation visuelle de symboles ou de vêtements associés au Ku Klux Klan (KKK) et d'images avec des drapeaux confédérés.
Extrémiste N/A Images contenant des drapeaux de groupes extrémistes et terroristes.

Toutes les étiquettes de la catégorie L2 ne disposent pas d'une étiquette compatible dans la catégorie L3. De plus, les étiquettes L3 sous « Produits » et « Accessoires et usage des drogues et du tabac » ne sont pas exhaustives. Ces étiquettes L2 couvrent des concepts autres que les étiquettes L3 mentionnées et dans de tels cas, seules les étiquettes L2 sont renvoyées dans la réponse de l'API.

Vous pouvez déterminer l’adéquation d’une image pour votre application. Par exemple, les images de nature suggestive peuvent être acceptables, ce qui n’est pas le cas de celles représentant la nudité. Pour filtrer les images, utilisez le tableau d'ModerationLabelétiquettes renvoyé par DetectModerationLabels (images) et par GetContentModeration (vidéos).

Type de contenu

L'API peut également identifier le type de contenu animé ou illustré, et le type de contenu est renvoyé dans le cadre de la réponse :

  • Le contenu animé inclut les jeux vidéo et les animations (par exemple, dessins animés, bandes dessinées, mangas, anime).

  • Le contenu illustré inclut le dessin, la peinture et les croquis.

Fiabilité

Vous pouvez définir le seuil de confiance utilisé par Amazon Rekognition pour détecter du contenu inapproprié en spécifiant le paramètre d’entrée MinConfidence. Les étiquettes de contenu inapproprié détectées avec une fiabilité plus faible que MinConfidence ne sont pas renvoyées.

La spécification d'une valeur inférieure à 50 % est susceptible de renvoyer un grand nombre de résultats faussement positifs (c'est-à-dire un rappel plus élevé, une précision moindre). MinConfidence En revanche, le fait de spécifier une valeur MinConfidence supérieure à 50 % est susceptible de donner un nombre inférieur de résultats faussement positifs (c'est-à-dire un taux de rappel plus faible, une précision plus élevée). Si vous ne spécifiez pas de valeur pour MinConfidence, Amazon Rekognition renvoie les étiquettes de contenu inapproprié détecté avec au moins 50 % de confiance.

Le tableau ModerationLabel contient les étiquettes des catégories précédentes et une estimation de la précision du contenu reconnu. Une étiquette de premier niveau est renvoyée avec les étiquettes de second niveau qui ont été identifiées. Par exemple, Amazon Rekognition peut retourner « Nudité explicite » avec un haut degré de fiabilité comme étiquette de premier niveau. Cela peut suffire à vos besoins de filtrage. Toutefois, le cas échéant, vous pouvez utiliser le score de confiance d’une étiquette de deuxième niveau (par exemple, « Nudité graphique masculine ») pour obtenir un filtrage plus affiné. Pour obtenir un exemple, consultez Détection d’images inappropriées.

Gestion des versions

Image Amazon Rekognition et Vidéo Amazon Rekognition renvoient tous deux la version du modèle de détection de modération utilisée pour détecter les contenus inappropriés (ModerationModelVersion).

Tri et agrégation

Lorsque vous récupérez des résultats avec GetContentModeration, vous pouvez les trier et les agréger.

Ordre de tri : le tableau d’étiquettes renvoyé est trié par heure. Pour trier par étiquette, spécifiez NAME dans le paramètre d’entrée SortBy pour GetContentModeration. Si l’étiquette apparaît plusieurs fois dans la vidéo, il existe plusieurs instances de l’élément ModerationLabel.

Informations sur l'étiquette : l'élément du ModerationLabels tableau contient un ModerationLabel objet, qui contient à son tour le nom de l'étiquette et la confiance d'Amazon Rekognition dans l'exactitude de l'étiquette détectée. L’horodatage est l’heure à laquelle le ModerationLabel a été détecté, défini comme le nombre de millisecondes écoulées depuis le début de la vidéo. Pour les résultats agrégés par vidéo SEGMENTS, les structures StartTimestampMillis, EndTimestampMillis et DurationMillis sont renvoyées, qui définissent respectivement l’heure de début, l’heure de fin et la durée d’un segment.

Agrégation : spécifie la manière dont les résultats sont agrégés lorsqu’ils sont renvoyés. La valeur par défaut est d’agréger par TIMESTAMPS. Vous pouvez également choisir d’agréger par SEGMENTS, ce qui permet d’agréger les résultats sur une période donnée. Seules les étiquettes détectées lors des segments sont renvoyées.

Statuts des adaptateurs de modération personnalisés

Les adaptateurs de modération personnalisés peuvent avoir l'un des statuts suivants : TRAINING_IN_PROGRESS, TRAINING_COMPLETED, TRAINING_FAILED, DELETING, DEPRECATED ou EXPIRED. Pour une explication complète de l'état de ces adaptateurs, consultez la section Gestion des adaptateurs.

Note

Amazon Rekognition n’est pas une autorité en matière de contenu inapproprié ou offensant, et ne prétend en aucun cas être un filtre exhaustif en la matière. De plus, les API de modération d’image et de vidéo ne détectent pas si une image inclut du contenu illégal, comme le CSAM.

Test de la version 7 de Content Moderation et transformation de la réponse de l'API

Rekognition a mis à jour le modèle d'apprentissage automatique pour les composants image vidéo de la fonction de détection d'étiquettes Content Moderation de la version 6.1 à la version 7. Cette mise à jour a amélioré la précision globale, introduit plusieurs nouvelles catégories et en a modifié d'autres.

Si vous êtes un utilisateur vidéo actuel de la version 6.1, nous vous recommandons de prendre les mesures suivantes pour effectuer une transition fluide vers la version 7 :

  1. Téléchargez et utilisez un SDK privé AWS (voir leAWS SDK et guide d'utilisation pour la modération de contenu version 7 ) pour appeler l' StartContentModeration API.

  2. Consultez la liste mise à jour des labels et des scores de confiance renvoyés dans la réponse ou la console de l'API. Ajustez la logique de post-traitement de votre application en conséquence si nécessaire.

  3. Votre compte restera en version 6.1 jusqu'au 13 mai 2024. Si vous souhaitez utiliser la version 6.1 au-delà du 13 mai 2024, contactez l'équipe de support AWS avant le 30 avril 2024 pour demander une extension. Nous pouvons étendre votre compte pour qu'il reste sur la version 6.1 jusqu'au 10 juin 2024. Si nous n'avons pas de nouvelles de vous avant le 30 avril 2024, votre compte sera automatiquement migré vers la version 7.0 à compter du 13 mai 2024.

AWS SDK et guide d'utilisation pour la modération de contenu version 7

Téléchargez le SDK correspondant au langage de développement que vous avez choisi et consultez le guide de l'utilisateur approprié.

Mappages d'étiquettes pour les versions 6.1 à 7

La version 7 de modération du contenu a ajouté de nouvelles catégories d'étiquettes et modifié les noms d'étiquettes existants. Référez-vous au tableau de taxonomie disponible à l' Catégories d’étiquette adresse suivante pour décider comment mapper les étiquettes 6.1 à 7 étiquettes.

Vous trouverez des exemples de mappage d'étiquettes dans la section suivante. Nous vous recommandons de consulter ces mappages et les définitions d'étiquettes avant d'effectuer les mises à jour nécessaires en fonction de la logique de post-traitement de votre application.

Schéma de mappage L1

Si vous utilisez une logique de post-traitement qui filtre uniquement sur la catégorie de niveau supérieur (L1) (telle queExplicit Nudity,, Violence etc.)Suggestive, reportez-vous au tableau ci-dessous pour mettre à jour votre code.

V6.1 L1 V7 L1
Nudité explicite (Explicit Nudity) Explicite
Suggestif (Suggestive) Nudité non explicite des parties intimes et baisers
Maillots de bain ou sous-vêtements
Violence Violence
Perturbant visuellement Perturbant visuellement
Gestes grossiers Gestes grossiers
Médicaments Drogues et tabac
Tabac Drogues et tabac
Alcool Alcool
Jeu Jeu
Symboles de haine Symboles de haine

Schéma de mappage L2

Si vous utilisez une logique de post-traitement qui filtre à la fois sur les catégories L1 et L2 (telles queExplicit Nudity / Nudity, Suggestive / Female Swimwear Or Underwear, Violence / Weapon Violence etc.), reportez-vous au tableau ci-dessous pour mettre à jour votre code.

V6.1 L1 V6.1 L2 V7 L1 V7 L2 V7 L3 V7 ContentTypes
Nudité explicite (Explicit Nudity) Nudité (Nudity) Explicite Nudité explicite (Explicit Nudity)

Mamelon féminin exposé

Fesses ou anus exposés

Nudité masculine explicite (Graphic Male Nudity) Explicite Nudité explicite (Explicit Nudity) Organes génitaux masculins exposés
Nudité féminine explicite (Graphic Female Nudity) Explicite Nudité explicite (Explicit Nudity) Organes génitaux féminins exposés
Acte sexuel (Sexual Activity) Explicite Activité sexuelle explicite
Nudité explicite illustrée Explicite Nudité explicite (Explicit Nudity) Carte vers « Animé » et « Illustré »
Nudité explicite illustrée Explicite Activité sexuelle explicite Carte vers « Animé » et « Illustré »
Jouets pour adultes Explicite Jouets sexuels
Suggestif (Suggestive) Maillot de bain ou sous-vêtement féminin (Female Swimwear Or Underwear) Maillots de bain ou sous-vêtements Maillots de bain ou sous-vêtements féminins
Maillot de bain ou sous-vêtement masculin (Male Swimwear Or Underwear) Maillots de bain ou sous-vêtements Maillots de bain ou sous-vêtements pour hommes
Nudité partielle (Partial Nudity) Nudité non explicite des parties intimes et baisers Nudité non explicite Nudité implicite
Homme torse nu Nudité non explicite des parties intimes et baisers Nudité non explicite Mamelon masculin exposé
Vêtements révélateurs (Revealing Clothes) Nudité non explicite des parties intimes et baisers Nudité non explicite
Nudité non explicite des parties intimes et baisers Parties intimes obstruées
Situations sexuelles Nudité non explicite des parties intimes et baisers Baiser sur les lèvres
Violence Violence graphique ou gore Violence Violence graphique Du sang et du sang
Violence physique Violence Violence graphique Violence physique
Violence avec des armes Violence Violence graphique Violence avec des armes
Armes Violence Armes
Auto-mutilation Violence Violence graphique Automutilation
Perturbant visuellement Corps décharnés Perturbant visuellement Mort et émaciation Corps décharnés
Cadavres Perturbant visuellement Mort et émaciation Cadavres
Pendaison Perturbant visuellement Mort et émaciation Cadavres
Accident aérien Perturbant visuellement Collisions Accident aérien
Explosions et explosions Violence Violence graphique Explosions et explosions
Gestes grossiers Doigt d’honneur Gestes grossiers Doigt d’honneur
Médicaments Produits médicamenteux Drogues et tabac Produits
Usage de drogues Drogues et tabac Matériel et usage des drogues et du tabac
Pilules Drogues et tabac Produits Pilules
Accessoires liés à la drogue Drogues et tabac Matériel et usage des drogues et du tabac
Tabac Produits du tabac Drogues et tabac Produits
Fumer Drogues et tabac Matériel et usage des drogues et du tabac Fumer
Alcool Boire Alcool Consommation d'alcool Boire
Boissons alcoolisées Alcool Boissons alcoolisées
Jeu Jeu Jeu
Symboles de haine Parti nazi Symboles de haine Parti nazi
Suprématie blanche Symboles de haine Suprématie blanche
Extrémiste Symboles de haine Extrémiste