送信先の選択 - Amazon Kinesis Data Firehose
送信先に Amazon S3 を選択する送信先に Amazon Redshift を選択する送信先に Amazon ES を選択する送信先に Splunk を選択する

送信先の選択

このトピックでは、Amazon Kinesis Data Firehose の [配信ストリームの作成] ウィザードの [送信先の選択] ページについて説明します。

Kinesis Data Firehose は、Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、または Splunk にレコードを送信できます。

送信先に Amazon S3 を選択する

このセクションでは、送信先に Amazon S3 を使用するためのオプションについて説明します。

送信先に Amazon S3 を選択するには

  • [送信先の選択] ページで、次のフィールドに値を入力します。

    送信先

    [Amazon S3] を選択します。

    S3 バケット

    ストリーミングデータの配信先となる、お客様が所有している S3 バケットを選択します。新しい S3 バケットを作成するか、既存のバケットを選択することができます。

    プレフィックス

    (オプション) Amazon S3 オブジェクトに対してデフォルトのプレフィックスを使用するには、このオプションを空白のままにします。Kinesis Data Firehose は、配信された Amazon S3 オブジェクトに対して、"YYYY/MM/DD/HH" UTC 時間形式のプレフィックスを自動的に使用します。カスタムプレフィックスを指定することで、このデフォルトを上書きできます。詳細については、Amazon S3 オブジェクト名の形式およびAmazon S3 オブジェクトのカスタムプレフィックスを参照してください。

    エラープレフィックス

    (オプション) エラー状態のデータを Amazon S3 に配信するときに Kinesis Data Firehose が使用するプレフィックスを指定できます。詳細については、Amazon S3 オブジェクト名の形式およびAmazon S3 オブジェクトのカスタムプレフィックスを参照してください。

送信先に Amazon Redshift を選択する

このセクションでは、送信先に Amazon Redshift を使用するためのオプションについて説明します。

送信先に Amazon Redshift を選択するには

  • [送信先の選択] ページで、次のフィールドに値を入力します。

    送信先

    [Amazon Redshift] を選択します。

    クラスター

    S3 バケットデータのコピー先となる Amazon Redshift クラスター。Amazon Redshift クラスターをパブリックアクセス可能に設定し、Kinesis Data Firehose の IP アドレスをブロック解除します。詳細については、「Amazon Redshift の送信先へのアクセス権を Kinesis Data Firehose に付与する 」を参照してください。

    ユーザー名

    Amazon Redshift クラスターにアクセスする権限を持つ Amazon Redshift ユーザー。このユーザーには、S3 バケットから Amazon Redshift クラスターにデータをコピーする Amazon Redshift INSERT アクセス許可が必要です。

    パスワード

    クラスターへのアクセス許可を持つユーザーのパスワード。

    データベース

    データのコピー先となる Amazon Redshift データベース。

    表

    データのコピー先となる Amazon Redshift テーブル。

    列

    (オプション) データのコピー先となるテーブル内の特定の列。Amazon S3 オブジェクトで定義した列数が Amazon Redshift テーブル内の列数より少ない場合に、このオプションを使用します。

    中間の S3 バケット

    Kinesis Data Firehose は最初にデータを S3 バケットに配信してから、Amazon Redshift COPY コマンドを発行してデータを Amazon Redshift クラスターにロードします。ストリーミングデータの配信先となる、お客様が所有している S3 バケットを指定します。新しい S3 バケットを作成するか、お客様が所有する既存のバケットを選択します。

    Kinesis Data Firehose は、Amazon Redshift クラスターにロードした後で S3 バケットからデータを削除することはしません。ライフサイクル設定を使用して、S3 バケットでデータを管理できます。詳細については、Amazon Simple Storage Service 開発者ガイドの「オブジェクトのライフサイクル管理」を参照してください。

    プレフィックス

    (オプション) Amazon S3 オブジェクトに対してデフォルトのプレフィックスを使用するには、このオプションを空白のままにします。Kinesis Data Firehose は、配信された Amazon S3 オブジェクトに対して、"YYYY/MM/DD/HH" UTC 時間形式のプレフィックスを自動的に使用します。このプレフィックスの開始に追加できます。詳細については、「Amazon S3 オブジェクト名の形式」を参照してください。

    COPY オプション

    Amazon Redshift COPY コマンドで指定できるパラメータです。これらのパラメータは、設定に必要になる場合があります。たとえば、Amazon S3 データ圧縮が有効な場合は、"GZIP" が必要です。S3 バケットが Amazon Redshift クラスターと同じ AWS リージョンにない場合は、"REGION" が必要です。詳細については、『Amazon Redshift Database Developer Guide』の「COPY」を参照してください。

    COPY コマンド

    Amazon Redshift COPY コマンド。詳細については、『Amazon Redshift Database Developer Guide』の「COPY」を参照してください。

    再試行の期間

    Amazon Redshift クラスターへのデータの COPY が失敗した場合に再試行する、Kinesis Data Firehose の時間 (0～7200 秒)。Kinesis Data Firehose は再試行期間が終了するまで 5 分ごとに再試行します。再試行期間を 0 (ゼロ) 秒に設定した場合、Kinesis Data Firehose は COPY コマンドが失敗しても再試行しません。

送信先に Amazon ES を選択する

このセクションでは、送信先に Amazon ES を使用するためのオプションについて説明します。

送信先に Amazon ES を選択するには

  1. [送信先の選択] ページで、次のフィールドに値を入力します。

    送信先

    [Amazon Elasticsearch Service] を選択します。

    分野

    データの配信先となる Amazon ES ドメイン。

    索引

    Amazon ES クラスターに対してデータのインデックスを作成するときに使用する Elasticsearch インデックス名。

    インデックスのローテーション

    Elasticsearch インデックスをローテーションするかどうかと、その頻度を選択します。インデックスのローテーションが有効になっている場合、Kinesis Data Firehose は指定されたインデックス名に対応するタイムスタンプを追加し、ローテーションします。詳細については、「Amazon ES 送信先のインデックスのローテーション」を参照してください。

    タイプ

    Amazon ES クラスターに対してデータのインデックスを作成するときに使用する Amazon ES タイプ名。Elasticsearch 6.x では、インデックスあたり 1 つのタイプのみが存在できます。すでに別のタイプを持つ既存のインデックスに新しいタイプを指定しようとすると、Kinesis Data Firehose は実行時にエラーを戻します。

    Elasticsearch 7.x では、このフィールドは空のままにします。

    再試行の期間

    Amazon ES クラスターへのインデックスのリクエストが失敗した場合に再試行する Kinesis Data Firehose の時間 (0～7200 秒)。Kinesis Data Firehose は再試行期間が終了するまで 5 分ごとに再試行します。再試行期間を 0 (ゼロ) 秒に設定した場合、Kinesis Data Firehose はインデックスリクエストが失敗しても再試行しません。

    送信先 VPC 接続

    Amazon ES ドメインがプライベート VPC 内にある場合は、このセクションを使用してその VPC を指定します。また、Amazon ES ドメインにデータを送信するときに Kinesis Data Firehose で使用するサブネットとサブグループも指定します。Amazon ES ドメインで使用しているのと同じセキュリティグループを使用することも、別のセキュリティグループを使用することもできます。別のセキュリティグループを指定する場合は、そのセキュリティグループで、Amazon ES ドメインのセキュリティグループへのアウトバウンド HTTPS トラフィックを必ず許可します。また、Amazon ES ドメインのセキュリティグループで、配信ストリームの設定時に指定したセキュリティグループからの HTTPS トラフィックを必ず許可します。配信ストリームと Amazon ES ドメインの両方に同じセキュリティグループを使用する場合は、セキュリティグループのインバウンドルールで HTTPS トラフィックを必ず許可します。セキュリティグループのルールの詳細については、Amazon VPC ドキュメントの「セキュリティグループのルール」を参照してください。

    バックアップモード

    失敗したレコードのみをバックアップするか、すべてのレコードをバックアップするか選択できます。失敗したレコードのみを選択した場合、Kinesis Data Firehose が Amazon ES クラスターに配信できなかったデータ、または Lambda 関数が変換できなかったデータが、指定した S3 バケットにバックアップされます。すべてのレコードを選択した場合、Kinesis Data Firehose は、すべての受信した送信元データを Amazon ES に配信すると同時に、S3 バケットにバックアップします。詳細については、「データ配信の失敗の処理」および「データ変換失敗の処理」を参照してください。

    バックアップ S3 バケット

    バックアップデータのターゲットである、お客様が所有している S3 バケット。新しい S3 バケットを作成するか、お客様が所有する既存のバケットを選択します。

    バックアップ S3 バケットプレフィックス

    (オプション) Amazon S3 オブジェクトに対してデフォルトのプレフィックスを使用するには、このオプションを空白のままにします。Kinesis Data Firehose は、配信された Amazon S3 オブジェクトに対して、"YYYY/MM/DD/HH" UTC 時間形式のプレフィックスを自動的に使用します。このプレフィックスの開始に追加できます。詳細については、「Amazon S3 オブジェクト名の形式」を参照してください。

  2. [Next (次へ)] を選択して [設定の構成] ページに進みます。

送信先に Splunk を選択する

このセクションでは、送信先に Splunk を使用するためのオプションについて説明します。

送信先に Splunk を選択するには

  • [送信先の選択] ページで、次のフィールドに値を入力します。

    送信先

    [Splunk] を選択します。

    Splunk クラスターエンドポイント

    エンドポイントを確認するには、Splunk ドキュメントの Configure Amazon Kinesis Firehose to Send Data to the Splunk Platform を参照してください。

    Splunk エンドポイントタイプ

    ほとんどの場合は Raw を選択します。イベントタイプごとに異なるインデックスにデータを送信するために AWS Lambda を使用してデータを事前処理している場合は、Event を選択します。使用するエンドポイントについては、Splunk ドキュメントの「Configure Amazon Kinesis Firehose to send data to the Splunk platform」を参照してください。

    認証トークン

    Kinesis Data Firehose からデータを受信できる Splunk エンドポイントをセットアップするには、Splunk ドキュメントの「Installation and Configuration Overview for the Splunk Add-on for Amazon Kinesis Firehose」を参照してください。この配信ストリームのエンドポイントを設定するときに Splunk から取得したトークンを保存し、ここで追加します。

    HEC 送達確認のタイムアウト

    Kinesis Data Firehose が Splunk からのインデックス送達確認を待機する時間を指定します。Splunk が確認を送信しないままタイムアウトに達すると、Kinesis Data Firehose ではデータ配信失敗と見なされます。その後、Kinesis Data Firehose は設定された再試行期間値に従って、再試行するか、データを Amazon S3 バケットにバックアップします。

    再試行の期間

    Kinesis Data Firehose が Splunk へのデータ送信を再試行する期間を指定します。

    データの送信後、Kinesis Data Firehose はまず Splunk からの送達確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Kinesis Data Firehose で再試行期間カウンターが開始されます。再試行期間が終わるまで再試行が続けられます。その後、Kinesis Data Firehose はデータ配信が失敗したとみなしてデータを Amazon S3 バケットにバックアップします。

    Kinesis Data Firehose がデータを Splunk に送信するたびに (初回か再試行かにかかわらず)、送達確認タイムアウトカウンターが再度開始され、Splunk からの送達確認の到着を待ちます。

    再試行期間が切れた場合でも、Kinesis Data Firehose は送達確認が到着するか送達確認タイムアウト期間に達するまで送達確認を待機し続けます。確認がタイムアウトすると、Kinesis Data Firehose は再試行カウンターの残り時間があるかどうかを判別します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Kinesis Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    S3 バックアップモード

    Kinesis Data Firehose から Splunk に送信されるすべてのイベントをバックアップするか、Splunk への配信が失敗したイベントのみをバックアップするかを選択します。高いデータ耐久性が必要な場合は、すべてのイベントでこのバックアップモードを有効にします。また、Splunk でデータが正しくインデックスされたことが確認できるまで、最初にすべてのイベントをバックアップすることも検討してください。

    S3 バックアップバケット

    既存のバックアップバケットを選択するか、新しいバックアップバケットを作成します。

    バックアップ S3 バケットプレフィックス

    (オプション) Amazon S3 オブジェクトに対してデフォルトのプレフィックスを使用するには、このオプションを空白のままにします。Kinesis Data Firehose は、配信された Amazon S3 オブジェクトに対して、"YYYY/MM/DD/HH" UTC 時間形式のプレフィックスを自動的に使用します。このプレフィックスの開始に追加できます。詳細については、「Amazon S3 オブジェクト名の形式」を参照してください。