So verwendet das Amazon Chime SDK WebRTC-Medien

Das Amazon Chime SDK unterstützt zwei Arten von WebRTC-Sitzungen: Standard- und High-Definition-Sitzungen. In den folgenden Themen werden die Medien beschrieben, die in den einzelnen Sitzungstypen verfügbar sind, wenn Sie die Amazon Chime SDK-Clientbibliotheken für React JavaScript, iOS und Android verwenden.

Audio

Jeder Amazon Chime Chime-Client sendet einen Audiostream an die Sitzungen und empfängt einen Audiostream von der Sitzung. In der Regel erzeugen Mikrofone auf lokalen Geräten das Audio. Das empfangene Audio ist eine Mischung aus dem Audio, das von den anderen Sitzungsclients gesendet wurde.

Beide Sitzungstypen unterstützen Abtastraten von bis zu 48 kHz und bis zu 2 Kanäle (Stereo), die mit Bitraten von bis zu 128 kbit/s unter Verwendung des Opus-Codec codiert sind. Die gesendeten und empfangenen Audiostreams variieren jedoch je nach Typ der Clientbibliothek:

• Die Amazon Chime SDK-Clientbibliotheken für JavaScript und React unterstützen das Senden und Empfangen von mono- und Stereo-Audio mit der höchsten vom Gerät und Browser unterstützten Samplerate, bis zu einem Maximum von 48 kHz.

• Die Amazon Chime SDK-Clientbibliotheken für iOS und Android unterstützen das Senden von Mono-Audio mit bis zu 48 kHz und das Empfangen von Stereo-Audio mit 48 kHz.

Video

Jeder Amazon Chime Chime-Client kann einen Videostream an die Sitzung senden und bis zu 25 Videostreams von der Sitzung empfangen. Das gesendete Video stammt normalerweise von der Webcam des lokalen Geräts. Jeder Client kann bis zu 25 Videostreams für den Empfang auswählen und die Auswahl während der Sitzung jederzeit ändern.

Standardsitzungen unterstützen Videoauflösungen von bis zu 1280 x 720 bei 30 Bildern pro Sekunde, codiert mit Bitraten von bis zu 1500 kbps unter Verwendung von H.264, VP8, VP9 und AV1.

HD-Sitzungen unterstützen Videoauflösungen von bis zu 1920x1080 bei 30 Bildern pro Sekunde, codiert mit Bitraten von bis zu 2500 kbps unter Verwendung von H.264, VP8, VP9 und AV1.

Die Amazon Chime SDK-Clientbibliotheken für JavaScript und React unterstützen das Senden von Videos im Simulcast mit 15 Bildern pro Sekunde oder mit skalierbarer Videokodierung (SVC). SVC kodiert einen einzelnen Videostream mit drei räumlichen Ebenen und drei zeitlichen Ebenen zu 100%, 50% und 25% Ihrer Zielwerte. Der Service wählt automatisch die Ebene aus, die an jeden Zuschauer gesendet werden soll, basierend auf der verfügbaren Bandbreite der Zuschauer.

Die Amazon Chime SDK-Clientbibliotheken für iOS und Android unterstützen das Senden von bis zu 15 Bildern pro Sekunde. Die tatsächliche Bildrate und Auflösung werden jedoch automatisch vom Amazon Chime SDK verwaltet.

Bei der Videokodierung und -dekodierung wird, soweit verfügbar, Hardwarebeschleunigung verwendet, um die Leistung zu verbessern.

Wenn ein Client Video mit einer Bitrate sendet, die über der maximal zulässigen Bitrate liegt, beginnt die Sitzung zunächst mit dem Senden von Receiver-Nachrichten über die geschätzte maximale Bitrate des Clients über das Real-Time Control Protocol. Wenn der Client weiterhin Videos mit einer Bitrate sendet, die über der maximal zulässigen Bitrate liegt, verwirft die Sitzung die eingehenden Videostream-Pakete.

Inhalte teilen

Bis zu zwei Kunden können Inhalte für die Sitzung gemeinsam nutzen. Eine gemeinsame Nutzung von Inhalten kann eine Videospur, eine Audiospur oder beides beinhalten. Ein gängiges Beispiel für eine gemeinsame Nutzung von Inhalten ist die Bildschirmübertragung, bei der Bildschirmaufnahmen als Quelle für den Inhalt verwendet werden. Ein anderes Beispiel ist das Teilen von aufgezeichneten Inhalten mit Video- und Audiotracks.

Die Audioinhalte werden in den von der Sitzung gesendeten Audiostream gemischt. Inhaltsaudio unterstützt Abtastraten von bis zu 48 kHz und bis zu 2 Kanäle (Stereo), die mit Bitraten von bis zu 128 Kbit/s unter Verwendung des Opus-Codec codiert sind.

Videoinhalte werden an die Sitzung gesendet und in einem separaten Videostream an die Clients weitergeleitet. Standardsitzungen unterstützen Inhaltsvideos mit einer Auflösung von bis zu 1920x1080 bei 30 Bildern pro Sekunde. HD-Sitzungen unterstützen Inhaltsvideos mit einer Auflösung von bis zu 3840 x 2160 bei 30 Bildern pro Sekunde.

Die Bildschirmaufnahme für die gemeinsame Nutzung von Inhalten verwendet die Auflösung des aufgenommenen Bildschirms oder Fensters bis zur maximalen Inhaltsauflösung für den Sitzungstyp und bis zu 30 Bilder pro Sekunde. Geräte- und Browserfunktionen können diese Werte jedoch einschränken.

Die Amazon Chime SDK-Clientbibliotheken für JavaScript und React unterstützen die gemeinsame Nutzung von Inhalten aus Bildschirmaufnahmen und anderen Quellen.

Die Amazon Chime SDK-Clientbibliotheken für iOS und Android unterstützen nur die gemeinsame Nutzung von Inhalten aus Bildschirmaufnahmen.

Datennachrichten

Datennachrichten bieten einem Client die Möglichkeit, Informationen an andere Clients in der Sitzung zu senden. Beispielsweise kann eine Anwendung Datennachrichten verwenden, um Emoji-Reaktionen während einer Sitzung auszutauschen.

Jede Datennachricht beinhaltet:

• Ein Thema, eine Zeichenfolge mit bis zu 64 Zeichen.

• Bis zu 2 KB an Daten, einschließlich des Themas.

Ein Client sendet eine Datennachricht an die Sitzung, und die Sitzung sendet die Datennachricht an alle verbundenen Clients.

In der Sitzung kann die Datennachricht optional für bis zu fünf Minuten zwischengespeichert werden. Wenn ein Client einer Sitzung beitritt oder erneut eine Verbindung herstellt, sendet die Sitzung dem Client automatisch alle zwischengespeicherten Datennachrichten, die zuvor nicht gesendet wurden. Der Sitzungscache speichert maximal 1024 Datennachrichten.

Eine Sitzung unterstützt bis zu 100 gesendete Datennachrichten pro Sekunde. Bei der Live-Transkription empfängt jeder Client Transkriptionsnachrichten über Datennachrichten, die auf die Gesamtzahl der gesendeten Nachrichten pro Sekunde angerechnet werden.