Kinesis データストリームを使用した Amazon データFirehose への書き込み - Amazon Data Firehose

Amazon Data Firehose は、以前は Amazon Kinesis Data Firehose と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Kinesis データストリームを使用した Amazon データFirehose への書き込み

Firehose ストリームに情報を送信するように Amazon Kinesis データストリームを設定できます。

重要

Kinesis Producer Library (KPL) を使用して Kinesis データストリームにデータを書き込む場合、集約を使用してその Kinesis データストリームに書き込むレコードを結合できます。その後、そのデータストリームを Firehose ストリームのソースとして使用すると、Amazon Data Firehose はレコードをデアグリゲートしてから宛先に配信します。データを変換するように配信ストリームを設定すると、Amazon Data Firehose はレコードを配信する前に集計を解除します。 AWS Lambda詳細については、「Kinesis Producer Library を使用した Amazon Kinesis Data Streams プロデューサーの開発」および「集約」を参照してください。

  1. にサインインして、 AWS Management Console https://console.aws.amazon.com/firehose/ にある Amazon Data Firehose コンソールを開きます。

  2. [Firehose ストリームを作成] を選択します。[Name and source (名前とソース)] ページで、次のフィールドに値を入力します。

    Firehose ストリーム名

    Firehose ストリームの名前です。

    ソース

    Kinesis ストリームを選択して、Kinesis データストリームをデータソースとして使用する Firehose ストリームを設定します。その後、Amazon Data Firehose を使用して既存のデータストリームからデータを簡単に読み取り、宛先にロードできます。

    ソースとして Kinesis データストリームを使用するには、[Kinesis ストリーム] リストで既存のストリームを選択するか、[新規作成] を選択して新しい Kinesis データストリームを作成します。新しいストリームを作成した後に、[更新] を選択して [Kinesis ストリーム] リストを更新します。多数のストリームがある場合は、[Filter by name] を使用してリストをフィルタリングします。

    注記

    Kinesis データストリームを Firehose ストリームのソースとして設定すると、Amazon データFirehose PutRecord PutRecordBatch とオペレーションは無効になります。この場合、Firehose ストリームにデータを追加するには、Kinesis Data Streams PutRecord PutRecords とオペレーションを使用します。

    Amazon Data Firehose は Kinesis LATEST ストリームの位置からデータの読み取りを開始します。Kinesis Data Streams 位置の詳細については、を参照してくださいGetShardIterator

    Amazon Data Firehose は、各シャードについて 1 秒に 1 回 Kinesis Data Streams GetRecordsオペレーションを呼び出します。ただし、フルバックアップが有効になっている場合、Firehose はシャードごとに 1 秒に 2 回 Kinesis Data Streams GetRecords オペレーションを呼び出します。1 回はプライマリ配信先用、もう 1 回はフルバックアップ用です。

    同じ Kinesis ストリームから複数の Firehose ストリームを読み取ることができます。他の Kinesis アプリケーション (コンシューマー) も同じストリームから読み取ることができます。Firehose ストリームやその他のコンシューマーアプリケーションからの各呼び出しは、シャードの全体的なスロットリング制限にカウントされます。スロットリングを回避するため、アプリケーションを注意深く計画してください。Kinesis Data Streams の制限事項の詳細については、「Amazon Kinesis Streams の制限」を参照してください。

  3. [Next] を選択して [レコード変換と形式変換を設定する] ページに進みます。