Como moderar um conteúdo - Amazon Rekognition

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como moderar um conteúdo

Você pode usar o Amazon Rekognition para detectar conteúdo impróprio, indesejado ou ofensivo. Use as APIs de moderação do Rekognition em mídias sociais, mídia de transmissão, publicidade e situações de comércio eletrônico para criar uma experiência de usuário mais segura, fornecer garantias de segurança da marca aos anunciantes e cumprir as regulamentações locais e globais.

Atualmente, muitas empresas dependem inteiramente de moderadores humanos para revisar conteúdo de terceiros ou gerado por usuários, enquanto outras simplesmente reagem às reclamações dos usuários para remover imagens, anúncios ou vídeos ofensivos ou inapropriados. No entanto, os moderadores humanos sozinhos não conseguem escalonar para atender a essas necessidades com qualidade ou velocidade suficientes, o que gera uma experiência ruim para o usuário, altos custos para alcançar essa escala ou até mesmo uma perda de reputação da marca. Ao usar o Rekognition para moderação de imagens e vídeos, os moderadores humanos podem revisar um conjunto muito menor de conteúdo, normalmente de 1 a 5% do volume total, já sinalizado pelo machine learning. Isso permite concentrar os esforços em atividades mais valiosas e ainda abordar a moderação de forma completa por uma fração do custo atual. Para configurar a força de trabalho humana e realizar tarefas de revisão humana, você pode usar o Amazon Augmented AI, que já está integrado ao Rekognition.

Você pode aprimorar a precisão do modelo de aprendizado profundo de moderação com o recurso de moderação personalizada. Com a moderação personalizada, você treina um adaptador de moderação personalizado enviando suas imagens e fazendo anotações nessas imagens. O adaptador treinado pode então ser fornecido à DetectModerationLabelsoperação para melhorar seu desempenho em suas imagens. Consulte Aprimorando a precisão com moderação personalizada Para mais informações.

O diagrama a seguir mostra a ordem das operações de chamada, dependendo de suas metas de uso dos componentes de imagem ou vídeo da moderação de conteúdo:

Usando as APIs de moderação de imagens e vídeos

Na API do Amazon Rekognition Image, você pode detectar conteúdo impróprio, indesejado ou ofensivo de forma síncrona usando e usando e operando de forma assíncrona. DetectModerationLabelsStartMediaAnalysisJobGetMediaAnalysisJob Você pode usar a API Amazon Rekognition Video para detectar esse conteúdo de forma assíncrona usando as operações e. StartContentModerationGetContentModeration

Categorias de etiquetas

O Amazon Rekognition usa uma taxonomia hierárquica de três níveis para rotular categorias de conteúdo impróprio, indesejado ou ofensivo. Cada rótulo com nível de taxonomia 1 (L1) tem vários rótulos de taxonomia de nível 2 (L2), e alguns rótulos de taxonomia de nível 2 podem ter rótulos de taxonomia de nível 3 (L3). Isso permite uma classificação hierárquica do conteúdo.

Para cada rótulo de moderação detectado, a API também retorna oTaxonomyLevel, que contém o nível (1, 2 ou 3) ao qual o rótulo pertence. Por exemplo, uma imagem pode ser rotulada de acordo com a seguinte categorização:

L1: Nudez não explícita de partes íntimas e beijos, L2: nudez não explícita, L3: nudez implícita.

nota

Recomendamos usar categorias L1 ou L2 para moderar seu conteúdo e usar categorias L3 somente para remover conceitos específicos que você não deseja moderar (ou seja, para detectar conteúdo que você talvez não queira categorizar como conteúdo impróprio, indesejado ou ofensivo com base em sua política de moderação).

A tabela a seguir mostra as relações entre os níveis de categoria e os rótulos possíveis para cada nível. Para baixar uma lista dos rótulos de moderação, clique aqui.

Categoria de nível superior (L1) Categoria de segundo nível (L2) Categoria de terceiro nível (L3) Definições
Explicit Explicit Nudity Exposed Male Genitalia Human male genitalia, including the penis (whether erect or flaccid), the scrotum, and any discernible pubic hair. This term is applicable in contexts involving sexual activity or any visual content where male genitals are displayed either completely or partially.
Exposed Female Genitalia External parts of the female reproductive system, encompassing the vulva, vagina, and any observable pubic hair. This term is applicable in scenarios involving sexual activity or any visual content where these aspects of female anatomy are displayed either completely or partially.
Exposed Buttocks or Anus Human buttocks or anus, including instances where the buttocks are nude or when they are discernible through sheer clothing. The definition specifically applies to situations where the buttocks or anus are directly and completely visible, excluding scenarios where any form of underwear or clothing provides complete or partial coverage.
Exposed Female Nipple Human female nipples, including fully visible and partially visible aerola (area surrounding the nipples) and nipples.
Explicit Sexual Activity N/A Depiction of actual or simulated sexual acts which encompasses human sexual intercourse, oral sex, as well as male genital stimulation and female genital stimulation by other body parts and objects. The term also includes ejaculation or vaginal fluids on body parts and erotic practices or roleplaying involving bondage, discipline, dominance and submission, and sadomasochism.
Sex Toys N/A Objects or devices used for sexual stimulation or pleasure, e.g., dildo, vibrator, butt plug, beats, etc.
Non-Explicit Nudity of Intimate parts and Kissing Non-Explicit Nudity Bare Back Human posterior part where the majority of the skin is visible from the neck to the end of the spine. This term does not apply when the individual's back is partially or fully occluded.
Exposed Male Nipple Human male nipples, including partially visible nipples.
Partially Exposed Buttocks Partially exposed human buttocks. This term includes a partially visible region of the buttocks or butt cheeks due to short clothes, or partially visible top portion of the anal cleft. The term does not apply to cases where the buttocks is fully nude.
Partially Exposed Female Breast Partially exposed human female breast where one a portion of the female's breast is visible or uncovered while not revealing the entire breast. This term applies when the region of the inner breast fold is visible or when the lower breast crease is visible with nipple fully covered or occluded.
Implied Nudity An individual who is nude, either topless or bottomless, but with intimate parts such as buttocks, nipples, or genitalia covered, occluded, or not fully visible.
Obstructed Intimate Parts Obstructed Female Nipple Visual depiction of a situation in which a female's nipples is covered by opaque clothing or coverings, but their shapes are clearly visible.
Obstructed Male Genitalia Visual depiction of a situation in which a male's genitalia or penis is covered by opaque clothing or coverings, but its shape is clearly visible. This term applies when the obstructed genitalia in the image is in close-up.
Kissing on the Lips N/A Depiction of one person's lips making contact with another person's lips.
Swimwear or Underwear Female Swimwear or Underwear N/A Human clothing for female swimwear (e.g., one-piece swimsuits, bikinis, tankinis, etc.) and female underwear (e.g., bras, panties, briefs, lingerie, thongs, etc.)
Male Swimwear or Underwear N/A Human clothing for male swimwear (e.g., swim trunks, boardshorts, swim briefs, etc.) and male underwear (e.g., briefs, boxers, etc.)
Violence Weapons N/A Instruments or devices used to cause harm or damage to living beings, structures, or systems. This includes firearms (e.g., guns, rifles, machine gunes, etc.), sharp weapons (e.g., swords, knives, etc.), explosives and ammunition (e.g., missile, bombs, bullets, etc.).
Graphic Violence Weapon Violence The use of weapons to cause harm, damage, injury, or death to oneself, other individuals, or properties.
Physical Violence The act of causing harm to other individuals or property (e.g., hitting, fighting, pulling hair, etc.) or other act of violence involving crowd or multiple individuals.
Self-Harm The act of causing harm to oneself, often by cutting body parts such as arms or legs, where cuts are typically visible.
Blood & Gore Visual representation of violence on a person, a group of individuals, or animals, involving open wounds, bloodshed, and mutilated body parts.
Explosions and Blasts Depiction of a violent and destructive burst of intense flames with thick smoke or dust and smoke erupting from the ground.
Visually Disturbing Death and Emaciation Emaciated Bodies Human bodies that are extremely thin and undernourished with severe physical wasting and depletion of muscle and fat tissue.
Corpses Human corpses in the form of mutilated bodies, hanging corpses, or skeletons.
Crashes Air Crash Incidents of air vehicles, such as airplanes, helicopters, or other flying vehicles, resulting in damage, injury, or death. This term applies when parts of the air vehicles are visible.
Drugs & Tobacco Products Pills Small, solid, often round or oval-shaped tables or capsules. This term applies to pills presented as standalones, in a bottle, or a transparent packet and does not apply to a visual depiction of a person taking pills.
Drugs & Tobacco Paraphernalia & Use Smoking The act of inhaling, exhaling, and lighting up burning substances including cigarettes, cigars, e-cigarettes, hookah, or joint.
Alcohol Alcohol Use Drinking The act of drinking alcoholic beverages from bottles or glasses of alcohol or liquor.
Alcoholic Beverages N/A Close up of one or multiple bottles of alcohol or liquor, glasses or mugs with alcohol or liquor, and glasses or mugs with alcohol or liquor held by an individual. This term does not apply to an individual drinking from bottles or glasses of alcohol or liquor.
Rude Gestures Middle Finger N/A Visual depiction of a hand gesture with middle finger is extended upward while the other fingers are folded down.
Gambling N/A N/A The act of participating in games of chance for a chance to win a prize in casinos, e.g., playing cards, blackjacks, roulette, slot machines at casinos, etc.
Hate Symbols Nazi Party N/A Visual depiction of symbols, flags, or gestures associated with Nazi Party.
White Supremacy N/A Visual depiction of symbols or clothings associated with Ku Klux Klan (KKK) and images with confederate flags.
Extremist N/A Images containing extremist and terrorist group flags.

Nem todo rótulo na categoria L2 tem um rótulo compatível na categoria L3. Além disso, os rótulos L3 em “Produtos” e “Parafernália e uso de drogas e tabaco” não são exaustivos. Esses rótulos L2 abrangem conceitos além dos rótulos L3 mencionados e, nesses casos, somente os rótulos L2 são retornados na resposta da API.

Você determina a adequação do conteúdo ao aplicativo. Por exemplo, imagens de natureza sugestiva podem ser aceitáveis, mas imagens contendo nudez, não. Para filtrar imagens, use a matriz de ModerationLabelrótulos que é retornada por DetectModerationLabels (imagens) e por GetContentModeration (vídeos).

Tipo de conteúdo

A API também pode identificar o tipo de conteúdo animado ou ilustrado, e o tipo de conteúdo é retornado como parte da resposta:

  • O conteúdo animado inclui videogame e animação (por exemplo, desenho animado, quadrinhos, mangá, anime).

  • O conteúdo ilustrado inclui desenho, pintura e esboços.

Confiança

Você pode definir o limite de confiança que o Amazon Rekognition usa para detectar conteúdo impróprio especificando o parâmetro de entrada MinConfidence. Os rótulos não são retornados para conteúdo impróprio detectado com menos confiança do que MinConfidence.

Especificar um valor inferior MinConfidence a 50% provavelmente retornará um grande número de resultados falso-positivos (ou seja, maior recall, menor precisão). Por outro lado, especificar MinConfidence acima de 50% provavelmente retornará um número menor de resultados falso-positivos (ou seja, menor recordação, maior precisão). Se você não especificar um valor para MinConfidence, o Amazon Rekognition retornará rótulos para conteúdo impróprio detectado com pelo menos 50% de confiança.

A matriz ModerationLabel contém rótulos nas categorias anteriores e uma confiança estimada na precisão do conteúdo reconhecido. Um rótulo de nível superior é retornado com todos os rótulos de segundo nível que foram identificados. Por exemplo, o Amazon Rekognition pode retornar "Nudez explícita" com uma alta pontuação de confiança como rótulo de alto nível. Isso pode ser suficiente para suas necessidades de filtragem. No entanto, se for necessário, você poderá usar a pontuação de confiança de um rótulo de segundo nível (como "Nudez masculina gráfica") para obter uma filtragem mais granular. Para ver um exemplo, consulte Detectando imagens inapropriadas.

Versionamento

Tanto o Amazon Rekognition Image quanto o Amazon Rekognition Video retornam a versão do modelo de detecção de moderação que é usado para detectar conteúdo impróprio (ModerationModelVersion).

Classificação e agregação

Ao recuperar resultados com GetContentModeration, você pode classificar e agregar seus resultados.

Ordem de classificação — A matriz de etiquetas retornadas é classificada por hora. Para classificar por rótulo, especifique NAME no parâmetro de entrada SortBy para GetContentModeration. Se o rótulo aparecer várias vezes no vídeo, haverá várias instâncias do elemento ModerationLabel.

Informações do rótulo — O elemento da ModerationLabels matriz contém um ModerationLabel objeto que, por sua vez, contém o nome do rótulo e a confiança que o Amazon Rekognition tem na precisão do rótulo detectado. O carimbo de data/hora é a hora em que a ModerationLabel foi detectada, definida como o número de milissegundos decorridos desde o início do vídeo. Para resultados agregados por SEGMENTS do vídeo, as estruturas StartTimestampMillis, EndTimestampMillis e DurationMillis são retornadas, definindo a hora de início, a hora de término e a duração de um segmento, respectivamente.

Agregação — Especifica como os resultados são agregados quando retornados. O padrão é agregar por TIMESTAMPS. Você também pode optar por agregar por SEGMENTS, o que agrega os resultados em uma janela de tempo. Somente rótulos detectados durante os segmentos são retornados.

Status do adaptador de moderação personalizado

Os adaptadores de moderação personalizados podem ter um dos seguintes status: TRAINING_IN_PROGRESS, TRAINING_COMPLETED, TRAINING_FAILED, DELETING, DEPRECATED ou EXPIRED. Para obter uma explicação completa dos status desses adaptadores, consulte Gerenciando adaptadores.

nota

O Amazon Rekognition não é uma autoridade e, de forma alguma, afirma ser um filtro exaustivo de conteúdo impróprio ou ofensivo. Além disso, as APIs de moderação de imagens e vídeos não detectam se uma imagem inclui conteúdo ilegal, como CSAM.