Flujos de trabajo para análisis basados en el machine learning - Amazon Chime SDK

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Flujos de trabajo para análisis basados en el machine learning

En las secciones siguientes se describe cómo utilizar las características de análisis de machine learning que proporciona el análisis de llamadas de Amazon Chime SDK.

nota

Si planea ejecutar varios análisis de machine learning en la misma transmisión de video de Kinesis, es posible que necesite aumentar el límite de nivel de conexión para GetMedia y para la transmisión de video de GetMediaForFragmentList. Para obtener más información, consulte Límites de descuencias de Kinesis Video Streams en la Guía para desarrolladores de Kinesis Video Streams.

Utilice este flujo de trabajo cuando:

  • Desea una configuración basada en una consola.

  • Ya usa o planea usar un Voice Connector para incorporar los medios SIP al análisis de llamadas. Los Voice Connectors son compatibles con SIP y SIPREC. Para obtener más información sobre la configuración de los Voice Connectors, consulte Administración de Amazon Chime SDK Voice Connector.

  • Desea aplicar la misma configuración de Media Insights a todas las llamadas de Voice Connector.

  • Debe usar el análisis de voz de Amazon Chime SDK, que requiere un Voice Connector o una canalización de información multimedia.

Para habilitar este flujo de trabajo en la consola de Amazon Chime SDK, siga los pasos para crear una configuración de grabación en Configuración de Voice Connectors para utilizar el análisis de llamadas.

Para habilitar este flujo de trabajo mediante programación, utilice las siguientes API: CreateMediaInsightsPipelineConfigurationAPI para crear una configuración de análisis de llamadas y, a continuación, asocie la configuración a un conector de voz mediante la API. PutVoiceConnectorStreamingConfiguration Para obtener más información, consulte Configuración de Voice Connectors para usar análisis de voz en la Guía del administrador de Amazon Chime SDK.

El siguiente diagrama muestra el flujo de datos cuando un Voice Connector inicia una sesión de análisis de llamadas. Los números del diagrama corresponden al texto numerado que aparece a continuación.

Image showing the flow of data when a Voice Connector initiates a call.

En el diagrama:

  1. Utiliza la consola del SDK de Amazon Chime o la CreateMediaInsightsPipelineConfigurationAPI para crear una configuración de canalización de media insights.

  2. Utiliza la consola del SDK de Amazon Chime o la PutVoiceConnectorStreamingConfigurationAPI para asociar la configuración a un conector de voz. Para asociar una configuración existente a un Voice Connectors, consulte Configuración de Voice Connectors para utilizar el análisis de llamadas, en la Guía del administrador de Amazon Chime SDK.

  3. Durante una llamada saliente, el Voice Connector recibe el audio de cada participante de la llamada.

  4. Gracias a la integración integrada con el análisis de llamadas, si una configuración de análisis de llamadas está conectada a un Voice Connector, el servicio Voice Connector inicia una sesión de análisis de llamadas mediante el servicio de canalización de medios.

  5. El servicio de canalización de medios invoca uno o más procesadores multimedia, tal y como se especifica en la configuración.

  6. El servicio de canalización de medios envía los datos de salida a uno o más destinos en función de la configuración. Por ejemplo, puede enviar análisis en tiempo real a través de Amazon Kinesis Data Streams y, si está configurado, puede enviar los metadatos y análisis de la llamada a un almacenamiento de datos de Amazon S3.

  7. El servicio Media Pipeline envía los eventos de estado de la canalización a Amazon por defecto EventBridge. Si has configurado reglas, las notificaciones correspondientes también se enviarán EventBridge a Amazon. Para obtener más información, consulta Cómo usar EventBridge las notificaciones.

nota

Puede almacenar los datos de llamadas de Voice Connector en Kinesis Video Streams durante períodos de tiempo variables, desde horas hasta años. La opción de no retener datos limita la usabilidad de los datos de las llamadas para su consumo inmediato. El costo de Kinesis Video Streams se determina en función del ancho de banda y el almacenamiento total utilizados. Es posible ajustar el período de retención de datos en cualquier momento editando la configuración de transmisión de su Voice Connector. Para habilitar el registro de análisis de llamadas, debe asegurarse de que Kinesis Video Stream conserve los datos hasta que finalice el análisis de llamadas. Para ello, especifique un período de retención de datos adecuado.

Puede asociar una configuración de canalización de información multimedia a tantos Voice Connectors como desee. También puede crear una configuración diferente para cada Voice Connector. Los conectores de voz los utilizan AWSServiceRoleForAmazonChimeVoiceConnector para llamar a la CreateMediaInsightsPipelineAPI en su nombre una vez por ID de transacción. Para obtener información sobre el rol, consulte Uso del rol vinculado al servicio de Amazon Chime SDK para los Voice Connectors de Amazon Chime SDK en la Guía del administrador de Amazon Chime SDK.

Utilice este flujo de trabajo si utiliza un Voice Connector pero necesita controlar cuándo aplicar una configuración de análisis de llamadas y a qué llamada aplicar la configuración.

Para usar este método, debe crear un EventBridge objetivo para los eventos que publica Voice Connector y, a continuación, usar los eventos para activar las API de canalización de análisis de llamadas. Para obtener más información, consulte Automatización del SDK de Amazon Chime EventBridge con la Guía del administrador del SDK de Amazon Chime.

En el siguiente diagrama, se muestra cómo implementar un control más detallado al utilizar el análisis de llamadas con Voice Connector. Los números del diagrama corresponden a los números del texto siguiente.

Imagen que muestra el flujo de datos cuando se utilizan llamadas a la API con Voice Connectors.

En el diagrama:

  1. Utiliza la consola del SDK de Amazon Chime o la CreateMediaInsightsPipelineConfigurationAPI para crear una configuración de canalización de media insights.

  2. Durante una llamada saliente, el Voice Connector recibirá el audio de los participantes.

  3. El conector de voz envía el audio de la llamada a Kinesis Video Stream y los eventos correspondientes a. EventBridge Estos eventos tienen metadatos de transmisión y llamadas.

  4. Se suscribe a su aplicación a EventBridge través de un EventBridge Target.

  5. La aplicación invoca la API del SDK de Amazon Chime CreateMediaInsightsPipeline.

  6. El servicio de canalización de medios invoca uno o más procesadores multimedia en función de los elementos del procesador de la configuración de la canalización de información multimedia.

  7. El servicio de canalización de medios envía los datos de salida a uno o más destinos en función de la configuración. El análisis de llamadas de Amazon Chime SDK proporcionará análisis en tiempo real a través de Amazon Kinesis Data Streams y, si está configurado, realizará análisis de metadatos de llamadas a un almacenamiento de datos de Amazon S3.

  8. El servicio Media Pipeline envía los eventos a Amazon EventBridge. Si has configurado reglas, las notificaciones correspondientes también se enviarán EventBridge a Amazon.

  9. Puedes pausar o reanudar la sesión de análisis de llamadas invocando la UpdateMediaInsightsPipelineStatusAPI.

    nota

    La grabación de llamadas no permite pausar ni reanudar las llamadas. Además, las tareas de análisis de voz iniciadas para la llamada también se detienen al pausar una sesión. Para reiniciarlas, debe llamar a las StartVoiceToneAnalyisTaskAPI StartSpeakerSearchTasko.

  10. Si selecciona el análisis del tono de voz durante la configuración, para iniciar el análisis de voz, llame a las StartVoiceToneAnalyisTaskAPI StartSpeakerSearchTasko API.

Para usar esta opción, debe publicar los datos de audio en Kinesis Video Streams (KVS) y, a continuación, llamar a CreateMediaInsightsPipelinela API con la información del canal de transmisión KVS.

nota

Las API de análisis de llamadas admiten un máximo de dos canales de audio.

Al llamar a la CreateMediaInsightsPipelineAPI, puede especificar los números de fragmento para cada definición de canal de transmisión KVS. Si proporciona un número de fragmento, Call Analytics comienza a procesar la transmisión en ese fragmento. De lo contrario, el análisis de llamadas comienza a procesar la transmisión desde el último fragmento disponible.

El análisis de llamadas admite audio PCM (solo formatos de audio little-endian de 16 bits firmados, que no incluyen WAV) con una frecuencia de muestreo de audio entre 8 kHz y 48 kHz. El audio de baja calidad, como el audio de telefonía, suele rondar los 8000 Hz. El audio de alta calidad suele oscilar entre 16 000 Hz y 48 000 Hz. La frecuencia de muestreo que especifique debe coincidir con la del audio. Para obtener más información, consulte la KinesisVideoStreamSourceRuntimeConfigurationreferencia de la API del SDK de Amazon Chime.

El SDK para productores de Kinesis Video Streams proporciona un conjunto de bibliotecas que puede utilizar para transmitir datos de audio a un Kinesis Video Stream. Para obtener más información, consulte Bibliotecas de productores de Kinesis Video Streams en la Guía para desarrolladores de Amazon Kinesis Video Streams.

El siguiente diagrama muestra el flujo de datos cuando se utiliza el análisis de llamadas con un productor de Kinesis Video Stream personalizado. Los números del diagrama corresponden al texto numerado que aparece a continuación.

Imagen que muestra el flujo de datos cuando se utiliza el análisis de llamadas con un productor de Kinesis Video Stream.

  1. Utiliza la AWS consola o la CreateMediaInsightsPipelineConfigurationAPI para crear una configuración de canalización de media Insights.

  2. Utilice un productor de Kinesis Video Stream para escribir audio en Kinesis Video Streams.

  3. La aplicación invoca la CreateMediaInsightsPipelineAPI.

  4. El servicio de canalización de medios lee el audio de las transmisiones de Kinesis Video Streams del cliente.

  5. El servicio Media Pipeline envía los eventos a Amazon EventBridge. Si has configurado reglas, las notificaciones correspondientes también se enviarán EventBridge a Amazon.

  6. El servicio de canalización de medios invoca uno o más elementos del procesador.

  7. El servicio de canalización de medios envía los datos de salida a uno o más elementos receptores.

  8. Puedes pausar o reanudar la sesión de análisis de llamadas invocando la UpdateMediaInsightsPipelineStatusAPI.

    nota

    La grabación de llamadas no admite pausas ni reanudaciones.

  9. Tu aplicación puede procesar los EventBridge eventos de Amazon para activar flujos de trabajo empresariales personalizados.

  10. Si seleccionas el análisis de voz al crear una configuración, tu aplicación puede iniciar el análisis de voz llamando a las StartVoiceToneAnalyisTaskAPI StartSpeakerSearchTasko API.