Memahami alur kerja untuk analitik berbasis pembelajaran mesin untuk Amazon Chime SDK

Bagian berikut menjelaskan cara menggunakan fitur analisis pembelajaran mesin yang disediakan oleh analitik panggilan Amazon Chime SDK.

catatan

Jika Anda berencana untuk menjalankan beberapa analisis pembelajaran mesin pada Kinesis Video Stream yang sama, Anda mungkin perlu meningkatkan batas tingkat koneksi untuk dan untuk streaming video. GetMedia GetMediaForFragmentList Untuk informasi selengkapnya, lihat batas Kinesis Video Streams di Panduan Pengembang Kinesis Video Streams.

Menggunakan Konektor Suara untuk memulai analitik panggilan secara otomatis

Gunakan alur kerja ini saat:

• Anda ingin pengaturan berbasis konsol.

• Anda sudah menggunakan atau berencana menggunakan Konektor Suara untuk membawa media SIP ke analitik panggilan. Konektor Suara mendukung SIP serta SIPREC. Untuk informasi selengkapnya tentang mengonfigurasi Konektor Suara, lihat Mengelola Konektor Suara Amazon Chime SDK.

• Anda ingin menerapkan konfigurasi wawasan media yang sama ke setiap panggilan Konektor Suara.

• Anda perlu menggunakan analitik suara Amazon Chime SDK, yang memerlukan Konektor Suara atau pipeline wawasan media.

Untuk mengaktifkan alur kerja ini di konsol Amazon Chime SDK, ikuti langkah-langkah untuk membuat konfigurasi perekaman di Mengonfigurasi Konektor Suara untuk menggunakan analitik panggilan.

Untuk mengaktifkan alur kerja ini secara terprogram, gunakan yang berikut ini: APIs CreateMediaInsightsPipelineConfigurationAPI untuk membuat konfigurasi analitik panggilan dan kemudian mengaitkan konfigurasi ke Konektor Suara menggunakan PutVoiceConnectorStreamingConfigurationAPI. Untuk informasi selengkapnya, lihat Mengonfigurasi Konektor Suara untuk menggunakan analitik suara di Panduan Administrator Amazon Chime SDK.

Diagram berikut menunjukkan aliran data saat Konektor Suara memulai sesi analisis panggilan. Angka dalam diagram sesuai dengan teks bernomor di bawah ini.

Dalam diagram:

1. Anda menggunakan konsol Amazon Chime SDK atau CreateMediaInsightsPipelineConfigurationAPI untuk membuat konfigurasi pipeline wawasan media.

2. Anda menggunakan konsol Amazon Chime SDK atau PutVoiceConnectorStreamingConfigurationAPI untuk mengaitkan konfigurasi dengan Konektor Suara. Untuk mengaitkan konfigurasi yang ada dengan Konektor Suara, lihat Mengonfigurasi Konektor Suara untuk menggunakan analitik panggilan, di Panduan Administrator SDK Amazon Chime.

3. Selama panggilan keluar, Konektor Suara menerima audio setiap peserta panggilan.

4. Karena integrasi bawaan dengan analitik panggilan, jika konfigurasi analitik panggilan dilampirkan ke Konektor Suara, layanan Konektor Suara memulai sesi analitik panggilan menggunakan layanan saluran media.

5. Layanan pipa media memanggil satu atau lebih prosesor media seperti yang ditentukan dalam konfigurasi.

6. Layanan pipa media mengirimkan data output ke satu atau lebih tujuan berdasarkan konfigurasi. Misalnya, Anda dapat mengirim analitik real-time melalui Amazon Kinesis Data Stream, dan jika dikonfigurasi, Anda dapat mengirim metadata panggilan dan analitik ke gudang data Amazon S3.

7. Layanan pipa media mengirimkan peristiwa status pipeline ke Amazon default EventBridge. Jika Anda telah mengonfigurasi aturan maka notifikasi untuk mereka akan dikirim ke Amazon EventBridge juga. Untuk informasi selengkapnya lihat, Menggunakan EventBridge notifikasi.

catatan

• Prosesor analitik suara hanya dimulai secara otomatis saat Anda memanggil StartSpeakerSearchTask atau StartVoiceToneAnalyisTask APIs.

• Anda harus mengaktifkan streaming Konektor Suara untuk menggunakan analitik panggilan dengan Konektor Suara. Fitur ini memungkinkan streaming data panggilan ke Konektor Suara yang dikelola Kinesis Video Streams di akun Anda. Untuk informasi selengkapnya, lihat Streaming media Konektor Suara Amazon Chime SDK ke Kinesis Video Streams di Panduan Administrator Amazon Chime SDK.

Anda dapat menyimpan data panggilan Konektor Suara di Kinesis Video Streams untuk berbagai jumlah waktu, mulai dari jam hingga tahun. Memilih untuk tidak ada retensi data membatasi kegunaan data panggilan untuk konsumsi segera. Biaya Kinesis Video Streams ditentukan berdasarkan bandwidth dan total penyimpanan yang digunakan. Dimungkinkan untuk menyesuaikan periode retensi data kapan saja dengan mengedit konfigurasi streaming Konektor Suara Anda. Untuk mengaktifkan perekaman analitik panggilan, Anda harus memastikan bahwa Kinesis Video Stream menyimpan data hingga analitik panggilan selesai. Anda melakukannya dengan menentukan periode retensi data yang sesuai.

Anda dapat mengaitkan konfigurasi pipeline wawasan media dengan Konektor Suara sebanyak yang Anda inginkan. Anda juga dapat membuat konfigurasi yang berbeda untuk setiap Konektor Suara. Konektor Suara menggunakan AWSService RoleForAmazonChimeVoiceConnector untuk memanggil CreateMediaInsightsPipelineAPI atas nama Anda sekali per ID transaksi. Untuk informasi tentang peran tersebut, lihat Menggunakan peran terkait layanan Amazon Chime SDK untuk Konektor Suara Amazon Chime SDK di Panduan Administrator SDK Amazon Chime.

Menggunakan analitik panggilan APIs dengan Konektor Suara

Gunakan alur kerja ini jika Anda menggunakan Konektor Suara tetapi perlu mengontrol saat Anda menerapkan konfigurasi analitik panggilan dan panggilan mana yang akan menerapkan konfigurasi.

Untuk menggunakan metode ini, Anda perlu membuat EventBridge target untuk peristiwa yang dipublikasikan oleh Konektor Suara, lalu gunakan peristiwa tersebut untuk memicu pipeline APIs analitik panggilan. Untuk informasi selengkapnya, lihat Mengotomatiskan Amazon Chime SDK EventBridge dengan di Panduan Administrator Amazon Chime SDK.

Diagram berikut menunjukkan cara menerapkan kontrol yang lebih terperinci saat menggunakan analitik panggilan dengan Konektor Suara. Angka dalam diagram sesuai dengan angka dalam teks di bawah ini.

Dalam diagram:

1. Anda menggunakan konsol Amazon Chime SDK atau CreateMediaInsightsPipelineConfigurationAPI untuk membuat konfigurasi pipeline wawasan media.

2. Selama panggilan keluar, Konektor Suara akan menerima audio peserta.

3. Konektor Suara mengirimkan audio panggilan ke Kinesis Video Stream dan peristiwa terkait ke. EventBridge Peristiwa ini memiliki metadata streaming dan panggilan.

4. Aplikasi Anda berlangganan EventBridge melalui EventBridge Target.

5. Aplikasi Anda memanggil Amazon Chime SDK CreateMediaInsightsPipelineAPI.

6. Layanan pipa media memanggil satu atau lebih prosesor media berdasarkan elemen prosesor dalam konfigurasi pipa wawasan media.

7. Layanan pipa media mengirimkan data output ke satu atau lebih tujuan berdasarkan konfigurasi. Analisis panggilan Amazon Chime SDK akan menyediakan analitik real-time melalui Amazon Kinesis Data Stream dan jika dikonfigurasi analitik metadata panggilan ke gudang data Amazon S3.

8. Layanan pipa media mengirimkan acara ke Amazon EventBridge. Jika Anda telah mengonfigurasi aturan maka notifikasi untuk mereka akan dikirim ke Amazon EventBridge juga.

9. Anda dapat menjeda atau melanjutkan sesi analitik panggilan dengan memanggil UpdateMediaInsightsPipelineStatusAPI.

   catatan

   Rekaman panggilan tidak mendukung jeda dan melanjutkan panggilan. Selain itu, tugas analitik suara yang dimulai untuk panggilan juga berhenti saat Anda menjeda sesi. Untuk memulai ulang, Anda harus memanggil StartSpeakerSearchTask atau StartVoiceToneAnalyisTask APIs.

10. Jika Anda memilih analitik nada suara selama konfigurasi, Anda memulai analitik suara dengan memanggil StartSpeakerSearchTask atau StartVoiceToneAnalyisTask APIs.

Menggunakan analitik panggilan dengan produsen Kinesis Video Streams

Untuk menggunakan opsi ini, Anda perlu mempublikasikan data audio ke Kinesis Video Streams (KVS) dan kemudian memanggil CreateMediaInsightsPipelineAPI dengan informasi saluran aliran KVS.

catatan

Analitik panggilan APIs mendukung maksimal dua saluran audio.

Saat menelepon CreateMediaInsightsPipelineAPI, Anda dapat menentukan nomor fragmen untuk setiap definisi saluran aliran KVS. Jika Anda memberikan nomor fragmen, analitik panggilan mulai memproses aliran di fragmen tersebut. Jika tidak, analitik panggilan mulai memproses aliran dari fragmen terbaru yang tersedia.

Analisis panggilan mendukung audio PCM (hanya format audio endian kecil 16-bit yang ditandatangani, yang tidak termasuk WAV) dengan kecepatan sampel audio antara 8kHz dan 48kHz. Audio berkualitas rendah, seperti audio telepon, biasanya sekitar 8.000 Hz. Audio berkualitas tinggi biasanya berkisar dari 16.000 Hz hingga 48.000 Hz. Rasio sampel yang Anda tentukan harus sesuai dengan audio Anda. Untuk informasi selengkapnya, silakan lihat KinesisVideoStreamSourceRuntimeConfigurationdi Referensi API Amazon Chime SDK.

Kinesis Video Streams Producer SDK menyediakan sekumpulan pustaka yang dapat Anda gunakan untuk mengalirkan data audio ke Kinesis Video Stream. Untuk informasi selengkapnya, lihat Perpustakaan Produser Kinesis Video Streams, di Panduan Pengembang Amazon Kinesis Video Streams.

Diagram berikut menunjukkan aliran data saat menggunakan analitik panggilan dengan produsen Kinesis Video Stream kustom. Angka dalam diagram sesuai dengan teks bernomor di bawah ini.

1. Anda menggunakan AWS konsol atau CreateMediaInsightsPipelineConfigurationAPI untuk membuat konfigurasi pipeline wawasan media.

2. Anda menggunakan Kinesis Video Stream Producer untuk menulis audio ke Kinesis Video Streams.

3. Aplikasi Anda memanggil CreateMediaInsightsPipelineAPI.

4. Layanan pipa media membaca audio dari Kinesis Video Streams pelanggan.

5. Layanan pipa media mengirimkan acara ke Amazon EventBridge. Jika Anda telah mengonfigurasi aturan maka notifikasi untuk mereka akan dikirim ke Amazon EventBridge juga.

6. Layanan pipa media memanggil satu atau lebih elemen prosesor.

7. Layanan pipa media mengirimkan data output ke satu atau lebih elemen sink.

8. Anda dapat menjeda atau melanjutkan sesi analisis panggilan dengan menjalankan API. UpdateMediaInsightsPipelineStatus

   catatan

   Rekaman panggilan tidak mendukung jeda dan melanjutkan.

9. Aplikasi Anda dapat memproses EventBridge peristiwa Amazon untuk memicu alur kerja bisnis khusus.

10. Jika Anda memilih analitik suara saat membuat konfigurasi, aplikasi Anda dapat memulai analisis suara dengan memanggil StartSpeakerSearchTask atau StartVoiceToneAnalyisTask APIs.