Flussi di lavoro per analisi basate sull'apprendimento automatico - SDK Amazon Chime

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Flussi di lavoro per analisi basate sull'apprendimento automatico

Le seguenti sezioni descrivono come utilizzare le funzionalità di analisi dell'apprendimento automatico fornite dall'analisi delle chiamate di Amazon Chime SDK.

Nota

Se prevedi di eseguire più analisi di apprendimento automatico sullo stesso Kinesis Video Stream, potrebbe essere necessario aumentare il limite del livello di connessione per e per GetMedia il flusso video. GetMediaForFragmentList Per ulteriori informazioni, consulta i limiti di Kinesis Video Streams nella Kinesis Video Streams Developer Guide.

Utilizza questo flusso di lavoro quando:

  • Desideri una configurazione basata sulla console.

  • Utilizzi già o intendi utilizzare un Voice Connector per integrare i contenuti multimediali SIP nell'analisi delle chiamate. I connettori vocali supportano sia SIP che SIPREC. Per ulteriori informazioni sulla configurazione dei connettori vocali, consulta Managing Amazon Chime SDK Voice Connector.

  • Vuoi applicare la stessa configurazione di Media Insights a ogni chiamata Voice Connector.

  • È necessario utilizzare l'analisi vocale di Amazon Chime SDK, che richiede un Voice Connector o una pipeline di informazioni multimediali.

Per abilitare questo flusso di lavoro nella console Amazon Chime SDK, segui i passaggi per creare una configurazione di registrazione in Configurazione dei connettori vocali per utilizzare l'analisi delle chiamate.

Per abilitare questo flusso di lavoro a livello di codice, utilizza le seguenti CreateMediaInsightsPipelineConfigurationAPI: API per creare una configurazione di analisi delle chiamate e quindi associa la configurazione a un Voice Connector utilizzando l'API. PutVoiceConnectorStreamingConfiguration Per ulteriori informazioni, consulta Configurazione dei connettori vocali per utilizzare l'analisi vocale nella Guida per l'amministratore di Amazon Chime SDK.

Il diagramma seguente mostra il flusso di dati quando un Voice Connector avvia una sessione di analisi delle chiamate. I numeri nel diagramma corrispondono al testo numerato riportato di seguito.

Image showing the flow of data when a Voice Connector initiates a call.

Nel diagramma:

  1. Utilizza la console Amazon Chime SDK o l'CreateMediaInsightsPipelineConfigurationAPI per creare una configurazione della pipeline di Media Insights.

  2. Utilizza la console Amazon Chime SDK o l'PutVoiceConnectorStreamingConfigurationAPI per associare la configurazione a un Voice Connector. Per associare una configurazione esistente a un connettore vocale, consulta la sezione Configurazione dei connettori vocali per utilizzare l'analisi delle chiamate, nella Guida per l'amministratore di Amazon Chime SDK.

  3. Durante una chiamata in uscita, il Voice Connector riceve l'audio di ogni partecipante alla chiamata.

  4. Grazie all'integrazione integrata con l'analisi delle chiamate, se una configurazione di analisi delle chiamate è collegata a un Voice Connector, il servizio Voice Connector avvia una sessione di analisi delle chiamate utilizzando il servizio di pipeline multimediale.

  5. Il servizio di pipeline multimediale richiama uno o più processori multimediali come specificato nella configurazione.

  6. Il servizio di pipeline multimediale invia i dati di output a una o più destinazioni in base alla configurazione. Ad esempio, puoi inviare analisi in tempo reale tramite un Amazon Kinesis Data Stream e, se configurato, puoi inviare i metadati e l'analisi delle chiamate a un data warehouse Amazon S3.

  7. Il servizio di pipeline multimediale invia gli eventi di stato della pipeline all'Amazon predefinito. EventBridge Se hai configurato delle regole, le relative notifiche verranno inviate anche EventBridge ad Amazon. Per ulteriori informazioni, consulta Utilizzo EventBridge delle notifiche.

Nota

È possibile archiviare i dati delle chiamate Voice Connector in Kinesis Video Streams per periodi di tempo diversi, che vanno da ore a anni. La scelta di non conservare i dati limita l'usabilità dei dati della chiamata per il consumo immediato. Il costo di Kinesis Video Streams è determinato in base alla larghezza di banda e allo spazio di archiviazione totale utilizzati. È possibile modificare il periodo di conservazione dei dati in qualsiasi momento modificando la configurazione di streaming del Voice Connector. Per abilitare la registrazione analitica delle chiamate, devi assicurarti che Kinesis Video Stream conservi i dati fino al termine dell'analisi delle chiamate. Lo fai specificando un periodo di conservazione dei dati adeguato.

Puoi associare una configurazione della pipeline di Media Insights a tutti i connettori vocali che desideri. Puoi anche creare una configurazione diversa per ogni Voice Connector. Voice Connectors utilizza il AWSServiceRoleForAmazonChimeVoiceConnector per chiamare l'CreateMediaInsightsPipelineAPI per tuo conto una volta per ID di transazione. Per informazioni sul ruolo, consulta Using the Amazon Chime SDK Service-Linked role for Amazon Chime SDK Voice Connectors nella Amazon Chime SDK Administrator Guide.

Utilizza questo flusso di lavoro se utilizzi un Voice Connector ma devi controllare quando applicare una configurazione di analisi delle chiamate e a quale chiamata applicare la configurazione.

Per utilizzare questo metodo, devi creare un EventBridge target per gli eventi pubblicati da Voice Connector e quindi utilizzare gli eventi per attivare le API della pipeline di analisi delle chiamate. Per ulteriori informazioni, consulta Automating the Amazon Chime SDK EventBridge con la Amazon Chime SDK Administrator Guide.

Il diagramma seguente mostra come implementare un controllo più granulare quando si utilizza l'analisi delle chiamate con Voice Connector. I numeri nel diagramma corrispondono ai numeri nel testo seguente.

Immagine che mostra il flusso di dati quando si utilizzano chiamate API con connettori vocali.

Nel diagramma:

  1. Utilizza la console Amazon Chime SDK o l'CreateMediaInsightsPipelineConfigurationAPI per creare una configurazione della pipeline di Media Insights.

  2. Durante una chiamata in uscita, Voice Connector riceverà l'audio dei partecipanti.

  3. Il Voice Connector invia l'audio della chiamata a Kinesis Video Stream e gli eventi corrispondenti a. EventBridge Questi eventi hanno metadati di streaming e di chiamata.

  4. La tua applicazione è sottoscritta EventBridge tramite un EventBridge Target.

  5. L'applicazione richiama l'API Amazon CreateMediaInsightsPipelineChime SDK.

  6. Il servizio Media Pipeline richiama uno o più processori multimediali in base agli elementi del processore presenti nella configurazione della pipeline Media Insights.

  7. Il servizio media pipeline invia i dati di output a una o più destinazioni in base alla configurazione. L'analisi delle chiamate di Amazon Chime SDK fornirà analisi in tempo reale tramite Amazon Kinesis Data Stream e, se configurata, analisi dei metadati delle chiamate su un data warehouse Amazon S3.

  8. Il servizio di pipeline multimediale invia gli eventi ad Amazon EventBridge. Se hai configurato delle regole, le relative notifiche verranno inviate anche EventBridge ad Amazon.

  9. Puoi mettere in pausa o riprendere la sessione di analisi delle chiamate richiamando l'API. UpdateMediaInsightsPipelineStatus

    Nota

    La registrazione delle chiamate non supporta la sospensione e la ripresa delle chiamate. Inoltre, le attività di analisi vocale avviate per la chiamata si interrompono anche quando si sospende una sessione. Per riavviarle, è necessario chiamare le StartVoiceToneAnalyisTaskAPI StartSpeakerSearchTasko.

  10. Se si seleziona l'analisi del tono vocale durante la configurazione, si avvia l'analisi vocale chiamando le StartVoiceToneAnalyisTaskAPI StartSpeakerSearchTasko.

Per utilizzare questa opzione, è necessario pubblicare dati audio su Kinesis Video Streams (KVS) e quindi CreateMediaInsightsPipelinechiamare l'API con le informazioni sul canale di streaming KVS.

Nota

Le API di analisi delle chiamate supportano un massimo di due canali audio.

Quando si chiama l'CreateMediaInsightsPipelineAPI, è possibile specificare i numeri di frammento per ogni definizione di canale di streaming KVS. Se fornite un numero di frammento, Call Analytics inizia a elaborare lo stream in corrispondenza di quel frammento. In caso contrario, l'analisi delle chiamate inizia a elaborare il flusso dall'ultimo frammento disponibile.

L'analisi delle chiamate supporta l'audio PCM (solo formati audio Little-endian firmati a 16 bit, che non include WAV) con una frequenza di campionamento audio compresa tra 8 kHz e 48 kHz. L'audio di bassa qualità, come quello della telefonia, è in genere di circa 8.000 Hz. L'audio di alta qualità varia in genere da 16.000 Hz a 48.000 Hz. La frequenza di campionamento specificata deve corrispondere a quella dell'audio. Per ulteriori informazioni, consulta KinesisVideoStreamSourceRuntimeConfigurationAmazon Chime SDK API Reference.

L'SDK Kinesis Video Streams Producer fornisce un set di librerie che è possibile utilizzare per lo streaming di dati audio su un Kinesis Video Stream. Per ulteriori informazioni, consulta Kinesis Video Streams Producer Libraries, nella Amazon Kinesis Video Streams Developer Guide.

Il diagramma seguente mostra il flusso di dati quando si utilizza l'analisi delle chiamate con un produttore Kinesis Video Stream personalizzato. I numeri nel diagramma corrispondono al testo numerato riportato di seguito.

Immagine che mostra il flusso di dati quando si utilizza l'analisi delle chiamate con un produttore Kinesis Video Stream.

  1. Utilizzi la AWS console o l'CreateMediaInsightsPipelineConfigurationAPI per creare una configurazione della pipeline di Media Insights.

  2. Si utilizza un Kinesis Video Stream Producer per scrivere audio su Kinesis Video Streams.

  3. L'applicazione richiama l'API. CreateMediaInsightsPipeline

  4. Il servizio di pipeline multimediale legge l'audio dai Kinesis Video Streams del cliente.

  5. Il servizio di pipeline multimediale invia gli eventi ad Amazon EventBridge. Se hai configurato delle regole, le relative notifiche verranno inviate anche EventBridge ad Amazon.

  6. Il servizio di pipeline multimediale richiama uno o più elementi del processore.

  7. Il servizio di pipeline multimediale invia i dati di output a uno o più elementi sink.

  8. Puoi mettere in pausa o riprendere la sessione di analisi delle chiamate richiamando l'API. UpdateMediaInsightsPipelineStatus

    Nota

    La registrazione delle chiamate non supporta la pausa e la ripresa.

  9. La tua applicazione può elaborare gli EventBridge eventi Amazon per attivare flussi di lavoro aziendali personalizzati.

  10. Se selezioni l'analisi vocale quando crei una configurazione, l'applicazione può avviare l'analisi vocale chiamando le StartVoiceToneAnalyisTaskAPI StartSpeakerSearchTasko.