Detectar el habla tóxica

La detección de voz tóxica está diseñada para ayudar a moderar las plataformas de redes sociales que involucranpeer-to-peerdiálogo, como juegos en línea y plataformas de chat social. El uso del lenguaje tóxico puede ser profundamente perjudicial para las personas, los grupos de pares y las comunidades. Marcar el lenguaje dañino ayuda a las organizaciones a mantener conversaciones civilizadas y a mantener un entorno en línea seguro e inclusivo para que los usuarios puedan crear, compartir y participar libremente.

Amazon TranscribeLa detección de toxicidad utiliza señales de audio y texto para identificar y clasificar el contenido tóxico basado en la voz en siete categorías, que incluyen acoso sexual, incitación al odio, amenazas, abusos, blasfemias, insultos y gráficos. Además del texto,Amazon TranscribeLa detección de toxicidad utiliza señales del habla, como los tonos y el tono, para centrarse en la intención tóxica del habla. Se trata de una mejora con respecto a los sistemas estándar de moderación de contenido, que están diseñados para centrarse solo en términos específicos, sin tener en cuenta la intención.

Amazon Transcribemarca y clasifica el discurso tóxico, lo que minimiza el volumen de datos que deben procesarse manualmente. Esto permite a los moderadores de contenido gestionar de forma rápida y eficiente el discurso en sus plataformas.

Las categorías de lenguaje tóxico incluyen:

• Blasfemias: Discurso que contiene palabras, frases o acrónimos descorteses, vulgares u ofensivos.

• Discurso de odio: Discurso que critica, insulta, denuncia o deshumaniza a una persona o grupo en función de su identidad (como la raza, el origen étnico, el género, la religión, la orientación sexual, la capacidad y el origen nacional).

• Sexual: Discurso que indica interés, actividad o excitación sexual mediante referencias directas o indirectas a partes del cuerpo, rasgos físicos o sexo.

• Insultos: Discurso que incluye lenguaje degradante, humillante, burlón, insultante o denigrante. Este tipo de lenguaje también se denomina acoso escolar.

• Violencia o amenaza: Discurso que incluye amenazas que buscan causar dolor, lesión u hostilidad hacia una persona o un grupo.

• Gráfico: Discurso que utiliza imágenes visualmente descriptivas y desagradablemente vívidas. Este tipo de lenguaje suele ser intencionalmente detallado para amplificar la incomodidad del receptor.

• Acoso o abusivo: Discurso destinado a afectar el bienestar psicológico del receptor, incluidos términos degradantes y objetivadores. Este tipo de lenguaje también se denomina acoso.

La detección de toxicidad analiza los segmentos del habla (el habla entre pausas naturales) y asigna puntuaciones de confianza a estos segmentos. Las puntuaciones de confianza son valores entre 0 y 1. Una puntuación de confianza más alta indica una mayor probabilidad de que el contenido sea un discurso tóxico en la categoría asociada. Puede utilizar estas puntuaciones de confianza para establecer el umbral de detección de toxicidad adecuado para su caso de uso.

nota

La detección de toxicidad solo está disponible para transcripciones por lotes en inglés de EE. UU.(en-US).

Verejemplo de salidaen formato JSON.