Amazon Kinesis Data Streams のソース設定を構成する

Amazon Kinesis Data Streams のソース設定を構成して、次のように Firehose ストリームに情報を送信します。

重要

Kinesis Producer Library (KPL) を使用して Kinesis データストリームにデータを書き込む場合、集約を使用してその Kinesis データストリームに書き込むレコードを結合できます。その後そのデータストリームを Firehose ストリームのソースとして使用する場合、Amazon Data Firehose はレコードの集約を解除してから宛先に配信します。データを変換するように Firehose ストリームを設定する場合、Amazon Data Firehose はレコードの集約を解除してから AWS Lambda に配信します。詳細については、「Kinesis Producer Library を使用した Amazon Kinesis Data Streams プロデューサーの開発」および「集約」を参照してください。

[ソース設定] で、[Kinesis データストリーム] リストで既存のストリームを選択するか、または形式 arn:aws:kinesis:[Region]:[AccountId]:stream/[StreamName] でデータストリーム ARN を入力します。

既存のデータストリームがない場合は、[作成] を選択して、Amazon Kinesis コンソールから新しいデータストリームを作成します。Kinesis ストリームに必要な許可を持つ IAM ロールが必要な場合があります。詳細については、「Firehose に Amazon S3 宛先へのアクセスを付与する」を参照してください。新しいストリームを作成した後に、[更新] アイコンを選択して [Kinesis ストリーム] のリストを更新します。多数のストリームがある場合は、[Filter by name] を使用してリストをフィルタリングします。

注記

Firehose ストリームのソースとして Kinesis データストリームを設定すると、Amazon Data Firehose の PutRecord および PutRecordBatch オペレーションは無効になります。この場合、Firehose ストリームにデータを追加するには、Kinesis Data Streams の PutRecord および PutRecords オペレーションを使用します。

Amazon Data Firehose は、Kinesis ストリームの LATEST の場所からデータの読み取りを開始します。Kinesis Data Streams の場所の詳細については、「GetShardIterator」を参照してください。

Amazon Data Firehose は、Kinesis Data Streams の GetRecords オペレーションを各シャードにつき 1 秒に 1 回呼び出します。ただし、フルバックアップが有効になっている場合、Firehose は、各シャードについて 1 秒に 2 回、Kinesis Data Streams GetRecords オペレーションを呼び出します。1 つは主な配信先用、もう 1 つはフルバックアップ用です。

複数の Firehose ストリームが同じ Kinesis ストリームから読み取ることができます。他の Kinesis アプリケーション (コンシューマー) も同じストリームから読み取ることができます。任意の Firehose ストリームまたは他のコンシューマーアプリケーションからの呼び出しはすべて、シャードの全体的なスロットリング制限数に含まれます。スロットリングを回避するため、アプリケーションを注意深く計画してください。Kinesis Data Streams の制限事項の詳細については、「Amazon Kinesis Streams の制限」を参照してください。

レコード変換と形式変換を設定するには、次のステップに進みます。