Amazon Chime SDK が WebRTC メディアを使用する方法

Amazon Chime SDK は、標準と高解像度の 2 種類の WebRTC セッションをサポートしています。以下のトピックでは、、React、iOS JavaScript、および Android 用の Amazon Chime SDK クライアントライブラリを使用する際に、各タイプのセッションで使用できるメディアについて説明します。

音声

Amazon Chime クライアントはそれぞれ 1 つの音声ストリームをセッションに送信し、セッションから 1 つの音声ストリームを受信します。通常、ローカルデバイスのマイクがオーディオを生成します。受信したオーディオは、他のセッションクライアントから送信されたオーディオとミックスされたものです。

どちらのセッションタイプも、Opus コーデックを使用して最大 48 kHz のサンプルレートと最大 128 kbps のビットレートでエンコードされた 2 チャネル (ステレオ) をサポートします。ただし、送受信される音声ストリームはクライアントライブラリのタイプによって異なります。

• JavaScript および React 用の Amazon Chime SDK クライアントライブラリは、デバイスとブラウザでサポートされている最大サンプルレートで、最大 48kHz のモノラルオーディオとステレオオーディオの送受信をサポートします。

• iOS および Android 用の Amazon Chime SDK クライアントライブラリは、最大 48 kHz のモノオーディオの送信と 48 kHz のステレオオーディオの受信をサポートしています。

動画

Amazon Chime クライアントはそれぞれ 1 つの動画ストリームをセッションに送信し、セッションから最大 25 個の動画ストリームを受信できます。送信される動画は、通常、ローカルデバイスのウェブカメラから送信されます。各クライアントは、受信する動画ストリームを最大 25 個まで選択でき、セッション中いつでも選択を変更できます。

標準セッションでは、H.264、VP8、VP9、AV1 を使用して最大 1500 kbps のビットレートでエンコードされた、毎秒 30 フレームで最大 1280 x 720 の動画解像度がサポートされます。

高解像度セッションでは、H.264、VP8、VP9、AV1 を使用して最大 2500 kbps のビットレートでエンコードされた、毎秒 30 フレームで最大 1920 x 1080 の動画解像度がサポートされます。

JavaScript および React 用の Amazon Chime SDK クライアントライブラリは、1 秒あたり 15 フレームのサイマルキャスト、またはスケーラブルビデオコーディング (SVC) によるビデオの送信をサポートします。SVC は、3 つの空間レイヤーと 3 つの時間レイヤーを含む 1 つの動画ストリームをターゲット値の 100%、50%、25% でエンコードします。このサービスは、視聴者が利用できる帯域幅に基づいて、各視聴者に送信するレイヤーを自動的に選択します。

iOS および Android 用の Amazon Chime SDK クライアントライブラリは、1 秒あたり最大 15 フレームの送信をサポートします。ただし、実際のフレームレートと解像度は Amazon Chime SDK によって自動的に管理されます。

動画のエンコードとデコードでは、パフォーマンスを向上させるためにハードウェアアクセラレーション (利用可能な場合) を使用します。

クライアントが最大許容ビットレートを超えるビットレートで動画を送信すると、セッションはまず、リアルタイム制御プロトコルを介してクライアントの受信者推定最大ビットレートメッセージの送信を開始します。クライアントが最大許容ビットレートを超えるビットレートで動画を送信し続けると、セッションは受信した動画ストリームパケットを破棄します。

コンテンツ共有

最大 2 つのクライアントがセッションでコンテンツを共有できます。コンテンツ共有には、動画トラック、音声トラック、またはその両方を含めることができます。コンテンツ共有の一般的な例としては、スクリーンキャプチャをコンテンツのソースとして使用する画面共有があります。もう 1 つの例として、収録済みのコンテンツを動画トラックや音声トラックと共有することが挙げられます。

コンテンツオーディオは、セッションによって送信された音声ストリームにミックスされます。コンテンツオーディオは、Opus コーデックを使用して最大 48 kHz のサンプルレートと最大 128 kbps のビットレートでエンコードされた 2 チャネル (ステレオ) をサポートします。

動画コンテンツはセッションに送信され、別の動画ストリームでクライアントに転送されます。標準セッションは、毎秒 30 フレームで最大 1920 x 1080 の解像度をサポートします。高解像度セッションは、30 フレーム/秒で最大 3840 x 2160 のコンテンツ動画をサポートします。

コンテンツ共有用のスクリーンキャプチャでは、キャプチャされる画面またはウィンドウの解像度が、セッションの種類に応じた最大コンテンツ解像度、1 秒あたり最大 30 フレームまで使用されます。ただし、デバイスとブラウザの機能によってこれらの値が制限される場合があります。

JavaScript および React 用の Amazon Chime SDK クライアントライブラリは、画面キャプチャやその他のソースからのコンテンツ共有をサポートします。

iOS および Android 用の Amazon Chime SDK クライアントライブラリでは、スクリーンキャプチャからのコンテンツ共有のみをサポートします。

データメッセージ

データメッセージは、クライアントがセッション中の他のクライアントに情報をブロードキャストする方法を提供します。例えば、アプリケーションはデータメッセージを使ってセッション中の絵文字リアクションを共有できます。

各データメッセージには以下が含まれます。

• トピック (最大 64 文字の文字列)。

• トピックを含めて最大 2 KB のデータ。

クライアントはセッションにデータメッセージを送信し、セッションは接続しているすべてのクライアントにデータメッセージを送信します。

セッションでは、オプションでデータメッセージを最大 5 分間キャッシュできます。クライアントがセッションに参加したり、セッションに再接続したりすると、会議は、以前に送信されていないキャッシュされたデータメッセージをクライアントに自動的に送信します。セッションキャッシュには最大 1024 件のデータメッセージが保存されます。

セッションでは、毎秒最大 100 件のデータメッセージの送信がサポートされます。ライブ文字起こしを使用すると、各クライアントはデータメッセージを介して文字起こしメッセージを受信します。この文字起こしメッセージは 1 秒あたりの送信メッセージ総数にカウントされます。