Comprensione dei flussi di lavoro per l'analisi basata sull'apprendimento automatico per l'SDK Amazon Chime

Le seguenti sezioni descrivono come utilizzare le funzionalità di analisi dell'apprendimento automatico fornite dall'analisi delle chiamate di Amazon Chime SDK.

Nota

Se prevedi di eseguire più analisi di apprendimento automatico sullo stesso Kinesis Video Stream, potrebbe essere necessario aumentare il limite del livello di connessione per e per GetMedia il flusso video. GetMediaForFragmentList Per ulteriori informazioni, consulta i limiti di Kinesis Video Streams nella Kinesis Video Streams Developer Guide.

Utilizzo di Voice Connectors per avviare automaticamente l'analisi delle chiamate

Utilizza questo flusso di lavoro quando:

• Vuoi una configurazione basata sulla console.

• Utilizzi già o intendi utilizzare un Voice Connector per integrare i contenuti multimediali SIP nell'analisi delle chiamate. I connettori vocali supportano sia SIP che SIPREC. Per ulteriori informazioni sulla configurazione dei connettori vocali, consulta Managing Amazon Chime SDK Voice Connector.

• Vuoi applicare la stessa configurazione di Media Insights a ogni chiamata Voice Connector.

• È necessario utilizzare l'analisi vocale di Amazon Chime SDK, che richiede un Voice Connector o una pipeline di informazioni multimediali.

Per abilitare questo flusso di lavoro nella console Amazon Chime SDK, segui i passaggi per creare una configurazione di registrazione in Configurazione dei connettori vocali per utilizzare l'analisi delle chiamate.

Per abilitare questo flusso di lavoro a livello di codice, utilizza quanto segue: APIs CreateMediaInsightsPipelineConfigurationAPI per creare una configurazione di analisi delle chiamate e quindi associare la configurazione a un Voice Connector utilizzando il PutVoiceConnectorStreamingConfigurationAPI. Per ulteriori informazioni, consulta Configurazione dei connettori vocali per utilizzare l'analisi vocale nella Guida per l'amministratore di Amazon Chime SDK.

Il diagramma seguente mostra il flusso di dati quando un Voice Connector avvia una sessione di analisi delle chiamate. I numeri nel diagramma corrispondono al testo numerato riportato di seguito.

Nel diagramma:

1. Utilizzi la console Amazon Chime SDK o CreateMediaInsightsPipelineConfigurationAPI per creare una configurazione della pipeline di Media Insights.

2. Utilizzi la console Amazon Chime SDK o PutVoiceConnectorStreamingConfigurationAPI per associare la configurazione a un Voice Connector. Per associare una configurazione esistente a un connettore vocale, consulta la sezione Configurazione dei connettori vocali per utilizzare l'analisi delle chiamate, nella Guida per l'amministratore di Amazon Chime SDK.

3. Durante una chiamata in uscita, il Voice Connector riceve l'audio di ogni partecipante alla chiamata.

4. Grazie all'integrazione integrata con l'analisi delle chiamate, se una configurazione di analisi delle chiamate è collegata a un Voice Connector, il servizio Voice Connector avvia una sessione di analisi delle chiamate utilizzando il servizio di pipeline multimediale.

5. Il servizio di pipeline multimediale richiama uno o più processori multimediali come specificato nella configurazione.

6. Il servizio media pipeline invia i dati di output a una o più destinazioni in base alla configurazione. Ad esempio, puoi inviare analisi in tempo reale tramite un Amazon Kinesis Data Stream e, se configurato, puoi inviare i metadati e l'analisi delle chiamate a un data warehouse Amazon S3.

7. Il servizio di pipeline multimediale invia gli eventi di stato della pipeline all'Amazon predefinito. EventBridge Se hai configurato delle regole, le relative notifiche verranno inviate anche EventBridge ad Amazon. Per ulteriori informazioni, consulta Utilizzo EventBridge delle notifiche.

Nota

• Un processore di analisi vocale si avvia automaticamente solo quando si chiama StartSpeakerSearchTask o StartVoiceToneAnalyisTask APIs.

• È necessario abilitare lo streaming di Voice Connector per utilizzare l'analisi delle chiamate con Voice Connector. Questa funzionalità consente lo streaming dei dati delle chiamate su Kinesis Video Streams gestiti da Voice Connector nel tuo account. Per ulteriori informazioni, consulta Streaming dei contenuti multimediali di Amazon Chime SDK Voice Connector su Kinesis Video Streams nella Guida per l'amministratore di Amazon Chime SDK.

È possibile archiviare i dati delle chiamate Voice Connector in Kinesis Video Streams per periodi di tempo diversi, che vanno da ore a anni. La scelta di non conservare i dati limita l'usabilità dei dati della chiamata per il consumo immediato. Il costo di Kinesis Video Streams è determinato in base alla larghezza di banda e allo spazio di archiviazione totale utilizzati. È possibile modificare il periodo di conservazione dei dati in qualsiasi momento modificando la configurazione di streaming del Voice Connector. Per abilitare la registrazione analitica delle chiamate, devi assicurarti che Kinesis Video Stream conservi i dati fino al termine dell'analisi delle chiamate. Lo fai specificando un periodo di conservazione dei dati adeguato.

Puoi associare una configurazione della pipeline di Media Insights a tutti i connettori vocali che desideri. Puoi anche creare una configurazione diversa per ogni Voice Connector. Voice Connectors utilizza il AWSService RoleForAmazonChimeVoiceConnector per chiamare il CreateMediaInsightsPipelineAPI per tuo conto una volta per ID di transazione. Per informazioni sul ruolo, consulta Using the Amazon Chime SDK Service-Linked role for Amazon Chime SDK Voice Connectors nella Amazon Chime SDK Administrator Guide.

Utilizzo APIs dell'analisi delle chiamate con Voice Connectors

Utilizza questo flusso di lavoro se utilizzi un Voice Connector ma devi controllare quando applicare una configurazione di analisi delle chiamate e a quale chiamata applicare la configurazione.

Per utilizzare questo metodo, è necessario creare un EventBridge target per gli eventi pubblicati da Voice Connector e quindi utilizzare gli eventi per attivare la pipeline APIs di analisi delle chiamate. Per ulteriori informazioni, consulta Automating the Amazon Chime SDK EventBridge con la Amazon Chime SDK Administrator Guide.

Il diagramma seguente mostra come implementare un controllo più granulare quando si utilizza l'analisi delle chiamate con Voice Connector. I numeri nel diagramma corrispondono ai numeri nel testo seguente.

Nel diagramma:

1. Utilizzi la console Amazon Chime SDK o CreateMediaInsightsPipelineConfigurationAPI per creare una configurazione della pipeline di Media Insights.

2. Durante una chiamata in uscita, Voice Connector riceverà l'audio dei partecipanti.

3. Il Voice Connector invia l'audio della chiamata a Kinesis Video Stream e gli eventi corrispondenti a. EventBridge Questi eventi hanno metadati di streaming e di chiamata.

4. La tua applicazione è sottoscritta EventBridge tramite un EventBridge Target.

5. L'applicazione richiama l'SDK Amazon Chime CreateMediaInsightsPipelineAPI.

6. Il servizio Media Pipeline richiama uno o più processori multimediali in base agli elementi del processore presenti nella configurazione della pipeline Media Insights.

7. Il servizio media pipeline invia i dati di output a una o più destinazioni in base alla configurazione. L'analisi delle chiamate di Amazon Chime SDK fornirà analisi in tempo reale tramite Amazon Kinesis Data Stream e, se configurata, analisi dei metadati delle chiamate su un data warehouse Amazon S3.

8. Il servizio di pipeline multimediale invia gli eventi ad Amazon EventBridge. Se hai configurato delle regole, le relative notifiche verranno inviate anche EventBridge ad Amazon.

9. Puoi mettere in pausa o riprendere la sessione di analisi delle chiamate richiamando il UpdateMediaInsightsPipelineStatusAPI.

   Nota

   La registrazione delle chiamate non supporta la sospensione e la ripresa delle chiamate. Inoltre, le attività di analisi vocale avviate per la chiamata si interrompono anche quando si sospende una sessione. Per riavviarle, è necessario chiamare il StartSpeakerSearchTask o StartVoiceToneAnalyisTask APIs.

10. Se si seleziona l'analisi del tono vocale durante la configurazione, si avvia l'analisi vocale chiamando il StartSpeakerSearchTask o StartVoiceToneAnalyisTask APIs.

Utilizzo dell'analisi delle chiamate con i produttori di Kinesis Video Streams

Per utilizzare questa opzione, è necessario pubblicare dati audio su Kinesis Video Streams (KVS) e quindi chiamare CreateMediaInsightsPipelineAPI con informazioni sul canale di streaming KVS.

Nota

L'analisi delle chiamate APIs supporta un massimo di due canali audio.

Quando si chiama il CreateMediaInsightsPipelineAPI, è possibile specificare i numeri di frammento per ogni definizione di canale di streaming KVS. Se fornisci un numero di frammento, Call Analytics inizia a elaborare il flusso in quel frammento. In caso contrario, l'analisi delle chiamate inizia a elaborare il flusso dall'ultimo frammento disponibile.

L'analisi delle chiamate supporta l'audio PCM (solo formati audio Little-endian firmati a 16 bit, che non include WAV) con una frequenza di campionamento audio compresa tra 8 kHz e 48 kHz. L'audio di bassa qualità, come quello della telefonia, è in genere di circa 8.000 Hz. L'audio di alta qualità varia in genere da 16.000 Hz a 48.000 Hz. La frequenza di campionamento specificata deve corrispondere a quella dell'audio. Per ulteriori informazioni, consulta KinesisVideoStreamSourceRuntimeConfigurationnel riferimento all'API SDK di Amazon Chime.

L'SDK Kinesis Video Streams Producer fornisce un set di librerie che è possibile utilizzare per lo streaming di dati audio su un Kinesis Video Stream. Per ulteriori informazioni, consulta Kinesis Video Streams Producer Libraries, nella Amazon Kinesis Video Streams Developer Guide.

Il diagramma seguente mostra il flusso di dati quando si utilizza l'analisi delle chiamate con un produttore Kinesis Video Stream personalizzato. I numeri nel diagramma corrispondono al testo numerato riportato di seguito.

1. Utilizzi la AWS console o il CreateMediaInsightsPipelineConfigurationAPI per creare una configurazione della pipeline di Media Insights.

2. Si utilizza un Kinesis Video Stream Producer per scrivere audio su Kinesis Video Streams.

3. L'applicazione richiama il CreateMediaInsightsPipelineAPI.

4. Il servizio di pipeline multimediale legge l'audio dai Kinesis Video Streams del cliente.

5. Il servizio di pipeline multimediale invia gli eventi ad Amazon EventBridge. Se hai configurato delle regole, le relative notifiche verranno inviate anche EventBridge ad Amazon.

6. Il servizio di pipeline multimediale richiama uno o più elementi del processore.

7. Il servizio di pipeline multimediale invia i dati di output a uno o più elementi sink.

8. Puoi mettere in pausa o riprendere la sessione di analisi delle chiamate richiamando l'API. UpdateMediaInsightsPipelineStatus

   Nota

   La registrazione delle chiamate non supporta la pausa e la ripresa.

9. La tua applicazione può elaborare gli EventBridge eventi Amazon per attivare flussi di lavoro aziendali personalizzati.

10. Se selezioni l'analisi vocale quando crei una configurazione, l'applicazione può avviare l'analisi vocale chiamando il StartSpeakerSearchTask o StartVoiceToneAnalyisTask APIs.