送信先設定を構成する - Amazon Data Firehose
Amazon S3 の送信先設定を構成するApache Iceberg テーブルの送信先設定を構成するAmazon Redshift の送信先設定を構成する OpenSearch サービスの送信先設定を構成する OpenSearch Serverless の送信先設定を構成するEndpoint の送信先設定を構成する HTTP Datadog の送信先設定を構成するHoneycomb の送信先設定を構成するCoralogix の送信先設定を構成するDynatrace の送信先設定を構成するの送信先設定を構成する LogicMonitorLogz.io の送信先設定を構成するMongoDB Cloud の送信先設定を構成するNew Relic の送信先設定を構成するSnowflake の送信先設定を構成するSplunk の送信先設定を構成するSplunk Observability Cloud の送信先設定を構成するSumo Logic の送信先設定を構成するElastic の送信先設定を構成する

Amazon S3 の Apache Iceberg テーブルへの Amazon Data Firehose ストリームの配信はプレビュー中であり、変更される可能性があります。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

送信先設定を構成する

このセクションでは、選択した送信先に基づいて Firehose ストリームに設定する必要がある設定について説明します。

Amazon S3 の送信先設定を構成する

Amazon S3 を Firehose ストリームの送信先として使用するには、次の設定を指定する必要があります。

  • 以下のフィールドに値を入力します。

    S3 バケット

    ストリーミングデータの配信先となる、お客様が所有している S3 バケットを選択します。新しい S3 バケットを作成するか、既存のバケットを選択することができます。

    改行区切り記号

    Firehose ストリームを設定して、Amazon S3 に配信されるオブジェクト内のレコード間に新しい行区切り文字を追加できます。これを行うには、[[Enabled (有効)] をクリックします。Amazon S3 に配信されるオブジェクトのレコード間に改行区切り文字を追加しない場合は、 [Disabled (無効)] をクリックします。Athena を使用して集約レコードを含む S3 オブジェクトをクエリする場合は、このオプションを有効にします。

    動的パーティショニング

    [Enabled (有効)] をクリックして、動的パーティショニングを有効にして設定します。

    マルチレコードの集約解除

    これは、Firehose ストリーム内のレコードを解析し、有効な JSON または指定された新しい行区切り文字に基づいてレコードを分離するプロセスです。

    複数のイベント、ログ、またはレコードを 1 つの PutRecord および PutRecordBatch API 呼び出しに集約しても、動的パーティショニングを有効にして設定できます。集約データでは、動的パーティショニングを有効にすると、Amazon Data Firehose はレコードを解析し、各API呼び出し内で複数の有効なJSONオブジェクトを検索します。Firehose ストリームが Kinesis Data Stream をソースとして設定されている場合は、Kinesis Producer Library () の組み込み集約を使用することもできますKPL。データパーティション機能は、データが集約解除された後に実行されます。したがって、各API呼び出しの各レコードは、異なる Amazon S3 プレフィックスに配信できます。また、Lambda 関数の統合を利用して、データパーティショニング機能の前に他の集約解除やその他の変換を実行することもできます。

    重要

    データが集約されている場合、動的パーティショニングは、データの集約解除が実行された後にのみ適用できます。したがって、集約データに対して動的パーティショニングを有効にする場合は、[Enabled (有効)] をクリックして、マルチレコード集約解除を有効にします。

    Firehose ストリームは、 KPL (protobuf) の集約解除、JSONまたは区切り文字の集約解除、Lambda 処理、データパーティショニング、データ形式変換、Amazon S3 配信の順序で処理ステップを実行します。

    マルチレコードの集約解除タイプ

    マルチレコードの集約解除を有効にした場合は、Firehose がデータを集約解除する方法を指定する必要があります。ドロップダウンメニューを使用して、 JSONまたは区切り記号付き を選択します。

    インライン解析

    これは、Amazon S3 にバインドされたデータの動的パーティショニングを行うためにサポートされているメカニズムの 1 つです。データの動的パーティショニングにインライン解析を使用するには、パーティショニングキーとして使用するデータレコードパラメータを指定し、指定したパーティショニングキーの値を提供する必要があります。[Enabled (有効)] をクリックして、インライン解析を有効にして設定します。

    重要

    上記のステップでソースレコードを変換するために AWS Lambda 関数を指定した場合、この関数を使用して S3 にバインドされたデータを動的にパーティション分割できます。また、インライン解析を使用してパーティショニングキーを作成することもできます。動的パーティショニングでは、インライン解析または AWS Lambda 関数を使用してパーティショニングキーを作成できます。または、インライン解析と AWS Lambda 関数の両方を同時に使用して、パーティショニングキーを作成できます。

    動的パーティショニングキー

    [キー] および [値] フィールドを使用して、動的パーティションニングキーとして使用するデータレコードパラメータを指定し、動的パーティショニングキーの値を生成するための jq クエリを指定することができますます。Firehose は jq 1.6 のみをサポートしています。最大 50 個の動的パーティショニングキーを指定できます。Firehose ストリームの動的パーティショニングを正常に設定するには、動的パーティショニングキーの値に有効な jq 式を入力する必要があります。

    S3 バケットプレフィックス

    動的パーティショニングを有効にして設定する場合は、Amazon Data Firehose がパーティション化されたデータを配信する S3 バケットプレフィックスを指定する必要があります。

    動的パーティショニングを正しく設定するには、S3 バケットプレフィクスの数が、指定したパーティショニングキーの数と同じである必要があります。

    ソースデータは、インライン解析または指定した AWS Lambda 関数でパーティション化できます。ソースデータのパーティショニングキーを作成する Lambda 関数を指定 AWS した場合は、partitionKeyFrom「Lambda:keyID」の形式を使用して S3 バケットプレフィックス値 (複数可) を手動で入力する必要があります。インライン解析を使用してソースデータのパーティショニングキーを指定する場合は、partitionKeyFrom「Query:keyID」の形式を使用して S3 バケットプレビュー値を手動で入力するか、動的パーティショニングキーの適用ボタンを選択して、動的パーティショニングキーと値のペアを使用して S3 バケットプレフィックスを自動生成できます。インライン解析または AWS Lambda を使用してデータをパーティション化するときは、S3 バケットプレフィックス !{namespace:value} で次の式形式を使用することもできます。ここで、名前空間は partitionKeyFromQuery または partitionKeyFromLambda のいずれかです。

    S3 バケットと S3 エラー出力プレフィックスのタイムゾーン

    Amazon S3 オブジェクトのカスタムプレフィックス で日付と時刻に使用するタイムゾーンを選択します。デフォルトでは、Firehose は に時間プレフィックスを追加しますUTC。別のタイムゾーンを使用する場合は、S3 プレフィックスで使用されるタイムゾーンを変更できます。

    バッファリングヒント

    Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

    S3 圧縮

    GZIP、Snappy、Zip、または Hadoop 互換の Snappy データ圧縮を選択するか、データ圧縮なしを選択します。Amazon Redshift を送信先とする Firehose ストリームでは、Snappy、Zip、Hadoop 互換の Snappy 圧縮は使用できません。

    S3 ファイル拡張子形式 (オプション）

    Amazon S3 送信先バケットに配信されるオブジェクトのファイル拡張子形式を指定します。この機能を有効にすると、指定したファイル拡張子は、Data Format Conversion または .parquet や .gz などの S3 圧縮機能によって追加されたデフォルトのファイル拡張子を上書きします。データ形式変換または S3 圧縮でこの機能を使用するときは、適切なファイル拡張子が設定されていることを確認してください。ファイル拡張子はピリオド (.) で始まり、0～9a～z!～_.*‘() の文字を使用できます。ファイル拡張子は 128 文字を超えることはできません。

    S3 暗号化

    Firehose は、Amazon S3 で配信されたデータを暗号化するための AWS Key Management Service （SSE-KMS) による Amazon S3 サーバー側の暗号化をサポートしています。送信先 S3 バケットで指定されたデフォルトの暗号化タイプを使用するか、所有するキーのリストから AWS KMS キーで暗号化するかを選択できます。 AWS KMS キーでデータを暗号化する場合は、デフォルトの AWS マネージドキー (aws/s3) またはカスタマーマネージドキーを使用できます。詳細については、「 AWS KMSマネージドキーによるサーバー側の暗号化を使用したデータの保護 (SSE-KMS）」を参照してください。

Apache Iceberg テーブルの送信先設定を構成する

送信先としての Apache Iceberg Tables は、米国東部 (バージニア北部）、米国西部 (オレゴン）、欧州 (アイルランド）、アジアパシフィック (東京）、カナダ (中部）、およびアジアパシフィック (シドニー) で利用できます AWS リージョン。

送信先としての Apache Iceberg テーブルの詳細については、「」を参照してくださいAmazon Data Firehose を使用して Apache Iceberg テーブルにデータを配信する。

Amazon Redshift の送信先設定を構成する

このセクションでは、Amazon Redshift を Firehose ストリームの送信先として使用する設定について説明します。

Amazon Redshift プロビジョンドクラスターまたは Amazon Redshift Serverless ワークグループのどちらを使用しているかに基づき、以下の手順のいずれかを選択します。

Amazon Redshift プロビジョンドクラスター

このセクションでは、Amazon Redshift でプロビジョニングされたクラスターを Firehose ストリームの送信先として使用する設定について説明します。

  • 以下のフィールドに値を入力します。

    クラスター

    S3 バケットデータのコピー先となる Amazon Redshift クラスター。Amazon Redshift クラスターをパブリックアクセス可能に設定し、Amazon Data Firehose IP アドレスのブロックを解除します。詳細については、「Firehose に Amazon Redshift 送信先へのアクセス権を付与する 」を参照してください。

    認証

    ユーザー名/パスワードを直接入力するか、 からシークレットを取得 AWS Secrets Manager して Amazon Redshift クラスターにアクセスするかを選択できます。

    • [ユーザーネーム]

      Amazon Redshift クラスターへのアクセス許可を持つ Amazon Redshift ユーザーを指定します。このユーザーには、S3 バケットから Amazon Redshift クラスターにデータをコピーする Amazon Redshift INSERT アクセス許可が必要です。

    • [パスワード]

      クラスターへのアクセス許可を持つユーザーのパスワードを指定します。

    • シークレット

      Amazon Redshift クラスターの認証情報 AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、Amazon Redshift 認証情報用に に AWS Secrets Manager シークレットを作成します。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    データベース

    データのコピー先となる Amazon Redshift データベース。

    テーブル

    データのコピー先となる Amazon Redshift テーブル。

    列

    (オプション) データのコピー先となるテーブル内の特定の列。Amazon S3 オブジェクトで定義した列数が Amazon Redshift テーブル内の列数より少ない場合に、このオプションを使用します。

    中間の S3 送信先

    Firehose は、最初にデータを S3 バケットに配信し、次に Amazon Redshift COPY コマンドを発行して Amazon Redshift クラスターにデータをロードします。ストリーミングデータの配信先となる、お客様が所有している S3 バケットを指定します。新しい S3 バケットを作成するか、お客様が所有する既存のバケットを選択します。

    Firehose は、Amazon Redshift クラスターにロードした後、S3 バケットからデータを削除しません。ライフサイクル設定を使用して、S3 バケットでデータを管理できます。詳細については、Amazon Simple Storage Service ユーザーガイドの「オブジェクトのライフサイクルの管理」を参照してください。

    中間の S3 プレフィックス

    (オプション) Amazon S3 オブジェクトに対してデフォルトのプレフィックスを使用するには、このオプションを空白のままにします。Firehose は、配信された Amazon S3 オブジェクトにYYYY/MM/dd/HHUTC「」時間形式のプレフィックスを自動的に使用します。このプレフィックスの開始に追加できます。詳細については、「Amazon S3 オブジェクト名の形式を設定する」を参照してください。

    COPY オプション

    Amazon Redshift COPY コマンドで指定できるパラメータです。これらのパラメータは、設定に必要になる場合があります。例えば、Amazon S3 データ圧縮が有効になっている場合はGZIP「」が必要です。S3 バケットが Amazon Redshift クラスターと同じ AWS リージョンにない場合はREGION「」が必要です。詳細については、「Amazon Redshift データベースデベロッパーガイドCOPY」の「」を参照してください。

    COPY コマンド

    Amazon Redshift COPY コマンド。詳細については、「Amazon Redshift データベースデベロッパーガイドCOPY」の「」を参照してください。

    再試行の期間

    Amazon Redshift クラスターへのデータに障害が発生した場合に Firehose が再試行COPYする時間 (0～7200 秒）。Firehose は、再試行期間が終了するまで 5 分ごとに再試行します。再試行時間を 0 (ゼロ) 秒に設定した場合、Firehose はCOPYコマンドの失敗時に再試行しません。

    バッファリングヒント

    Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

    S3 圧縮

    GZIP、Snappy、Zip、または Hadoop 互換の Snappy データ圧縮を選択するか、データ圧縮なしを選択します。Amazon Redshift を送信先とする Firehose ストリームでは、Snappy、Zip、Hadoop 互換の Snappy 圧縮は使用できません。

    S3 ファイル拡張子形式 (オプション）

    S3 ファイル拡張子形式 (オプション) — Amazon S3 送信先バケットに配信されるオブジェクトのファイル拡張子形式を指定します。この機能を有効にすると、指定したファイル拡張子は、Data Format Conversion または .parquet や .gz などの S3 圧縮機能によって追加されたデフォルトのファイル拡張子を上書きします。データ形式変換または S3 圧縮でこの機能を使用するときは、適切なファイル拡張子が設定されていることを確認してください。ファイル拡張子はピリオド (.) で始まり、0～9a～z!～_.*‘() の文字を使用できます。ファイル拡張子は 128 文字を超えることはできません。

    S3 暗号化

    Firehose は、Amazon S3 で配信されたデータを暗号化するための AWS Key Management Service （SSE-KMS) による Amazon S3 サーバー側の暗号化をサポートしています。送信先 S3 バケットで指定されたデフォルトの暗号化タイプを使用するか、所有するキーのリストから AWS KMS キーで暗号化するかを選択できます。 AWS KMS キーでデータを暗号化する場合は、デフォルトの AWS マネージドキー (aws/s3) またはカスタマーマネージドキーを使用できます。詳細については、「 AWS KMSマネージドキーによるサーバー側の暗号化を使用したデータの保護 (SSE-KMS）」を参照してください。

Amazon Redshift Serverless ワークグループの送信先設定を構成する

このセクションでは、Amazon Redshift Serverless ワークグループを Firehose ストリームの送信先として使用する設定について説明します。

  • 以下のフィールドに値を入力します。

    ワークグループ名

    S3 バケットデータのコピー先となる Amazon Redshift Serverless ワークグループ。Amazon Redshift Serverless ワークグループをパブリックアクセス可能に設定し、Firehose IP アドレスのブロックを解除します。詳細については、「Amazon Redshift Serverless への接続」の「パブリックにアクセス可能なときの Amazon Redshift Serverless に接続する」と、「Firehose に Amazon Redshift 送信先へのアクセス権を付与する 」を参照してください。

    認証

    ユーザー名/パスワードを直接入力するか、 からシークレットを取得 AWS Secrets Manager して Amazon Redshift Serverless ワークグループにアクセスするかを選択できます。

    • [ユーザーネーム]

      Amazon Redshift Serverless ワークグループにアクセスするためのアクセス許可を持つ Amazon Redshift ユーザーを指定します。このユーザーには、S3 バケットから Amazon Redshift Serverless ワークグループにデータをコピーする Amazon Redshift INSERT アクセス許可が必要です。

    • [パスワード]

      Amazon Redshift Serverless ワークグループへのアクセス許可を持つユーザーのパスワードを指定します。

    • シークレット

      Amazon Redshift Serverless ワークグループの認証情報 AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、Amazon Redshift 認証情報 AWS Secrets Manager 用に にシークレットを作成します。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    データベース

    データのコピー先となる Amazon Redshift データベース。

    テーブル

    データのコピー先となる Amazon Redshift テーブル。

    列

    (オプション) データのコピー先となるテーブル内の特定の列。Amazon S3 オブジェクトで定義した列数が Amazon Redshift テーブル内の列数より少ない場合に、このオプションを使用します。

    中間の S3 送信先

    Amazon Data Firehose は、まず S3 バケットにデータを配信し、次に Amazon Redshift COPY コマンドを発行して Amazon Redshift Serverless ワークグループにデータをロードします。ストリーミングデータの配信先となる、お客様が所有している S3 バケットを指定します。新しい S3 バケットを作成するか、お客様が所有する既存のバケットを選択します。

    Firehose は、Amazon Redshift Serverless ワークグループにロードした後、S3 バケットからデータを削除しません。ライフサイクル設定を使用して、S3 バケットでデータを管理できます。詳細については、Amazon Simple Storage Service ユーザーガイドの「オブジェクトのライフサイクルの管理」を参照してください。

    中間の S3 プレフィックス

    (オプション) Amazon S3 オブジェクトに対してデフォルトのプレフィックスを使用するには、このオプションを空白のままにします。Firehose は、配信された Amazon S3 オブジェクトにYYYY/MM/dd/HHUTC「」時間形式のプレフィックスを自動的に使用します。このプレフィックスの開始に追加できます。詳細については、「Amazon S3 オブジェクト名の形式を設定する」を参照してください。

    COPY オプション

    Amazon Redshift COPY コマンドで指定できるパラメータです。これらのパラメータは、設定に必要になる場合があります。例えば、Amazon S3 データ圧縮が有効になっている場合はGZIP「」が必要です。S3 バケットが Amazon Redshift Serverless ワークグループと同じ AWS リージョンにない場合はREGION「」が必要です。詳細については、「Amazon Redshift データベースデベロッパーガイドCOPY」の「」を参照してください。

    COPY コマンド

    Amazon Redshift COPY コマンド。詳細については、「Amazon Redshift データベースデベロッパーガイドCOPY」の「」を参照してください。

    再試行の期間

    Amazon Redshift Serverless ワークグループへのデータが失敗した場合に Firehose が再試行COPYする時間 (0～7200 秒）。Firehose は、再試行期間が終了するまで 5 分ごとに再試行します。再試行時間を 0 (ゼロ) 秒に設定した場合、Firehose はCOPYコマンドの失敗時に再試行しません。

    バッファリングヒント

    Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

    S3 圧縮

    GZIP、Snappy、Zip、または Hadoop 互換の Snappy データ圧縮を選択するか、データ圧縮なしを選択します。Amazon Redshift を送信先とする Firehose ストリームでは、Snappy、Zip、Hadoop 互換の Snappy 圧縮は使用できません。

    S3 ファイル拡張子形式 (オプション）

    S3 ファイル拡張子形式 (オプション) — Amazon S3 送信先バケットに配信されるオブジェクトのファイル拡張子形式を指定します。この機能を有効にすると、指定したファイル拡張子は、Data Format Conversion または .parquet や .gz などの S3 圧縮機能によって追加されたデフォルトのファイル拡張子を上書きします。Data Format Conversion または S3 圧縮でこの機能を使用するときは、適切なファイル拡張子が設定されていることを確認してください。ファイル拡張子はピリオド (.) で始まり、0～9a～z!～_.*‘() の文字を使用できます。ファイル拡張子は 128 文字を超えることはできません。

    S3 暗号化

    Firehose は、Amazon S3 で配信されたデータを暗号化するための AWS Key Management Service （SSE-KMS) による Amazon S3 サーバー側の暗号化をサポートしています。送信先 S3 バケットで指定されたデフォルトの暗号化タイプを使用するか、所有するキーのリストから AWS KMS キーで暗号化するかを選択できます。 AWS KMS キーでデータを暗号化する場合は、デフォルトの AWS マネージドキー (aws/s3) またはカスタマーマネージドキーを使用できます。詳細については、「 AWS KMSマネージドキーによるサーバー側の暗号化を使用したデータの保護 (SSE-KMS）」を参照してください。

OpenSearch サービスの送信先設定を構成する

このセクションでは、送信先に OpenSearch サービスを使用するためのオプションについて説明します。

  • 以下のフィールドに値を入力します。

    OpenSearch サービスドメイン

    データが配信される OpenSearch サービスドメイン。

    [Index] (インデックス)

    OpenSearch サービスクラスターへのデータのインデックス作成時に使用する OpenSearch サービスインデックス名。

    インデックスのローテーション

    OpenSearch サービスインデックスをローテーションするかどうかと、ローテーションする頻度を選択します。インデックスローテーションが有効になっている場合、Amazon Data Firehose は、対応するタイムスタンプを指定されたインデックス名に追加し、ローテーションします。詳細については、「 OpenSearch サービスのインデックスローテーションを設定する」を参照してください。

    タイプ

    OpenSearch サービスクラスターにデータのインデックスを作成するときに使用する OpenSearch サービスタイプ名。Elasticsearch 7.x および OpenSearch 1.x では、インデックスごとに 1 つのタイプしか使用できません。既に別のタイプを持つ既存のインデックスに新しいタイプを指定しようとすると、Firehose はランタイム中にエラーを返します。

    Elasticsearch 7.x では、このフィールドは空のままにします。

    再試行の期間

    インデックスリクエストが OpenSearch 失敗した場合に Firehose が再試行する時間。この場合、Firehose は再試行期間が終了するまで 5 分ごとに再試行します。再試行期間については、0～7200 秒の任意の値を設定できます。

    再試行期間が終了すると、Firehose は設定された S3 エラーバケットであるデッドレターキュー (DLQ) にデータを配信します。に配信されるデータについてはDLQ、設定された S3 エラーバケットから送信 OpenSearch 先にデータを再ドライブする必要があります。

    OpenSearch クラスターのダウンタイムまたはメンテナンスDLQが原因で Firehose ストリームが にデータを配信するのをブロックする場合は、再試行時間を秒単位でより高い値に設定できます。AWS サポート に連絡することで、再試行時間を 7200 秒以上に増やすことができます。

    DocumentID タイプ

    ドキュメント ID を設定する方法を示します。サポートされているメソッドは、Firehose が生成するドキュメント ID と OpenSearch サービスが生成するドキュメント ID です。Firehose が生成するドキュメント ID は、ドキュメント ID 値が設定されていない場合のデフォルトのオプションです。 OpenSearch サービスが生成するドキュメント ID は、ログ分析や可観測性などの書き込みの多いオペレーションをサポートし、 OpenSearch サービスドメインで消費するCPUリソースが少ないため、パフォーマンスが向上します。

    送信先VPC接続

    OpenSearch サービスドメインがプライベート にある場合はVPC、このセクションを使用してその を指定しますVPC。また、Amazon Data Firehose が OpenSearch サービスドメインにデータを送信するときに使用するサブネットとサブグループを指定します。 OpenSearch サービスドメインが使用しているのと同じセキュリティグループを使用できます。異なるセキュリティグループを指定する場合は、 OpenSearch サービスドメインのセキュリティグループへのアウトバウンドHTTPSトラフィックが許可されていることを確認してください。また、Firehose ストリームの設定時に指定したセキュリティグループからのHTTPSトラフィックが OpenSearch サービスドメインのセキュリティグループで許可されていることを確認してください。Firehose ストリームと OpenSearch サービスドメインの両方に同じセキュリティグループを使用する場合は、セキュリティグループのインバウンドルールでHTTPSトラフィックが許可されていることを確認してください。セキュリティグループルールの詳細については、Amazon VPCドキュメントの「セキュリティグループルール」を参照してください。

    重要

    プライベート の送信先にデータを配信するためのサブネットを指定する場合はVPC、選択したサブネットに十分な数の空き IP アドレスがあることを確認してください。指定されたサブネットに使用可能な空き IP アドレスがない場合、Firehose はプライベート のデータ配信ENIs用に を作成または追加できずVPC、配信は低下または失敗します。

    バッファのヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

OpenSearch Serverless の送信先設定を構成する

このセクションでは、送信先に OpenSearch Serverless を使用するためのオプションについて説明します。

  • 以下のフィールドに値を入力します。

    OpenSearch サーバーレスコレクション

    データが配信される OpenSearch サーバーレスインデックスのグループのエンドポイント。

    [Index] (インデックス)

    OpenSearch Serverless コレクションにデータのインデックスを作成するときに使用する OpenSearch Serverless インデックス名。

    送信先VPC接続

    OpenSearch Serverless コレクションがプライベート にある場合はVPC、このセクションを使用してその を指定しますVPC。また、Amazon Data Firehose が OpenSearch Serverless コレクションにデータを送信するときに使用するサブネットとサブグループを指定します。

    重要

    プライベート の送信先にデータを配信するためのサブネットを指定する場合はVPC、選択したサブネットに十分な数の空き IP アドレスがあることを確認してください。指定されたサブネットに使用可能な空き IP アドレスがない場合、Firehose はプライベート のデータ配信ENIs用に を作成または追加できずVPC、配信は低下または失敗します。

    再試行の期間

    Serverless へのインデックスリクエストが失敗した場合に Firehose OpenSearch が再試行する時間。この場合、Firehose は再試行期間が終了するまで 5 分ごとに再試行します。再試行期間については、0～7200 秒の任意の値を設定できます。

    再試行期間が終了すると、Firehose は設定された S3 エラーバケットであるデッドレターキュー (DLQ) にデータを配信します。に配信されるデータについてはDLQ、設定された S3 エラーバケットから OpenSearch サーバーレス送信先にデータを再ドライブする必要があります。

    OpenSearch サーバーレスクラスターのダウンタイムまたはメンテナンスDLQにより、Firehose ストリームが にデータを配信するのをブロックする場合は、再試行時間を秒単位でより高い値に設定できます。AWS サポート に連絡することで、再試行時間を 7200 秒以上に増やすことができます。

    バッファのヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

Endpoint の送信先設定を構成する HTTP

このセクションでは、送信先のHTTPエンドポイントを使用するためのオプションについて説明します。

重要

送信先としてHTTPエンドポイントを選択した場合は、「」の手順を確認して実行しますHTTP エンドポイント配信リクエストとレスポンスの仕様を理解する。

  • 以下のフィールドに値を入力します。

    HTTP エンドポイント名 - オプション

    HTTP エンドポイントのわかりやすい名前を指定します。例えば、My HTTP Endpoint Destination と指定します。

    HTTP エンドポイント URL

    HTTP エンドポイントURLの を次の形式で指定します: https://xyz.httpendpoint.com。は HTTPS URLである必要がありますURL。

    認証

    アクセスキーを直接入力するか、 からシークレットを取得 AWS Secrets Manager してHTTPエンドポイントにアクセスするかを選択できます。

    • （オプション) アクセスキー

      Firehose からエンドポイントへのデータ配信を有効にするためにアクセスキーを取得する必要がある場合は、エンドポイント所有者にお問い合わせください。

    • シークレット

      HTTP エンドポイントのアクセスキー AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、アクセスキー AWS Secrets Manager の にシークレットを作成します。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから、送信先に送信します。リクエストのコンテンツエンコーディングを有効または無効にするには、 GZIPまたは Disabled を選択します。

    再試行の期間

    Amazon Data Firehose が選択したHTTPエンドポイントへのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

    重要

    HTTP エンドポイントの送信先で、 CloudWatch ログの送信先エンドポイントから 413 レスポンスコードが表示される場合は、Firehose ストリームのバッファリングヒントサイズを小さくして、もう一度試してください。

Datadog の送信先設定を構成する

このセクションでは、送信先に Datadog を使用するためのオプションについて説明します。Datadog の詳細については、https://docs.datadoghq.com/integrations/「amazon_web_services/」を参照してください。

  • 次のフィールドに値を指定します。

    HTTP エンドポイント URL

    ドロップダウンメニューで、次のいずれかのオプションからデータを送信する場所を選択します。

    • Datadog ログ - US1

    • Datadog ログ - US3

    • Datadog ログ - US5

    • Datadog ログ - AP1

    • Datadog ログ - EU

    • Datadog ログ - GOV

    • Datadog メトリクス - 米国

    • Datadog メトリクス - US5

    • Datadog メトリクス - AP1

    • Datadog メトリクス - EU

    • Datadog の設定 - US1

    • Datadog の設定 - US3

    • Datadog の設定 - US5

    • Datadog 設定 - AP1

    • Datadog 設定 - EU

    • Datadog 設定 - 米国 GOV

    認証

    Datadog AWS Secrets Manager にアクセスするには、APIキーを直接入力するか、 からシークレットを取得するかを選択できます。

    • API キー

      Datadog に連絡して、Firehose からこのエンドポイントへのデータ配信を有効にするために必要なAPIキーを取得します。

    • シークレット

      Datadog のAPIキー AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから、送信先に送信します。リクエストのコンテンツエンコーディングを有効または無効にするには、 GZIPまたは Disabled を選択します。

    再試行の期間

    Amazon Data Firehose が選択したHTTPエンドポイントへのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

Honeycomb の送信先設定を構成する

このセクションでは、送信先に Honeycomb を使用する方法について説明します。Honeycomb の詳細については、https://docs.honeycomb.io/getting-data-in/metrics/aws-cloudwatch-metrics/ を参照してください。

  • 以下のフィールドに値を入力します。

    Honeycomb Kinesis エンドポイント

    HTTP エンドポイントURLの を次の形式で指定します: https://api.honeycomb.io/1/kinesis_events/{{dataset}}

    認証

    Honeycomb にアクセスするには、APIキーを直接入力するか AWS Secrets Manager 、 からシークレットを取得するかを選択できます。

    • API キー

      Honeycomb に連絡して、Firehose からこのエンドポイントへのデータ配信を有効にするために必要なAPIキーを取得します。

    • シークレット

      Honeycomb のAPIキー AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから、送信先に送信します。リクエストのコンテンツエンコードGZIPを有効にするには、 を選択します。こちらは、Honeycomb が送信先である場合に推奨される方法です。

    再試行の期間

    Amazon Data Firehose が選択したHTTPエンドポイントへのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

Coralogix の送信先設定を構成する

このセクションでは、送信先に Coralogix を使用する方法について説明します。Coralogix の詳細については、「Coralogix の開始方法」を参照してください。

  • 以下のフィールドに値を入力します。

    HTTP エンドポイント URL

    ドロップダウンメニューの次のオプションURLからHTTPエンドポイントを選択します。

    • Coralogix - 米国

    • Coralogix - SINGAPORE

    • Coralogix - IRELAND

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    認証

    プライベートキーを直接入力するか、 からシークレットを取得 AWS Secrets Manager して Coralogix にアクセスするかを選択できます。

    • プライベートキー

      Coralogix に連絡して、Firehose からこのエンドポイントへのデータ配信を有効にするために必要なプライベートキーを取得します。

    • シークレット

      Coralogix のプライベートキー AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから、送信先に送信します。リクエストのコンテンツエンコードGZIPを有効にするには、 を選択します。こちらは、Coralogix が送信先である場合に推奨される方法です。

    再試行の期間

    Amazon Data Firehose が選択したHTTPエンドポイントへのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    • applicationName: Data Firehose を実行している環境

    • subsystemName: Data Firehose 統合の名前

    • computerName: 使用中の Firehose ストリームの名前

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

Dynatrace の送信先設定を構成する

このセクションでは、送信先に Dynatrace を使用するためのオプションについて説明します。詳細については、https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/」を参照してください。

  • Firehose ストリームの送信先として Dynatrace を使用するオプションを選択します。

    取り込みタイプ

    詳細な分析と処理のために Dynatrace でメトリクスまたはログ (デフォルト) を配信するかどうかを選択します。

    HTTP エンドポイント URL

    ドロップダウンメニューからHTTPエンドポイント URL (Dynatrace US 、Dynatrace EU 、または Dynatrace Global ) を選択します。

    認証

    API トークンを直接入力するか、 からシークレットを取得 AWS Secrets Manager して Dynatrace にアクセスするかを選択できます。

    • API トークン

      Firehose からこのエンドポイントへのデータ配信を有効にするために必要な Dynatrace APIトークンを生成します。詳細については、「Dynatrace API - トークンと認証」を参照してください。

    • シークレット

      Dynatrace のAPIトークン AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    API URL

    Dynatrace 環境APIURLの を指定します。

    コンテンツのエンコーディング

    リクエストの本文を圧縮するためにコンテンツエンコーディングを有効にするかどうかを選択します。Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから送信先に送信します。有効にすると、圧縮したコンテンツが GZIP形式で表示されます。

    再試行の期間

    Firehose が選択したHTTPエンドポイントへのデータ送信を再試行する期間を指定します。

    データの送信後、Firehose はまずHTTPエンドポイントからの確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Firehose はそれをデータ配信の失敗と見なし、Amazon S3 バケットにデータをバックアップします。

    Firehose が最初の試行HTTP中または再試行後にエンドポイントにデータを送信するたびに、確認タイムアウトカウンターが再起動され、HTTPエンドポイントからの確認が待機します。

    再試行期間が終了しても、Firehose は確認を受け取るか、確認タイムアウト期間に達するまで確認を待機します。確認がタイムアウトすると、Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。バッファヒントには、ストリームのバッファサイズと間隔が含まれます。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

の送信先設定を構成する LogicMonitor

このセクションでは、送信LogicMonitor先に を使用するためのオプションについて説明します。詳細については、「」を参照してくださいhttps://www.logicmonitor.com。

  • 以下のフィールドに値を入力します。

    HTTP エンドポイント URL

    HTTP エンドポイントURLの を次の形式で指定します。

    https://ACCOUNT.logicmonitor.com
    認証

    API キーを直接入力するか、 からシークレットを取得 AWS Secrets Manager して にアクセスするかを選択できます LogicMonitor。

    • API キー

      LogicMonitor に連絡して、Firehose からこのエンドポイントへのデータ配信を有効にするために必要なAPIキーを取得します。

    • シークレット

      のキー AWS Secrets Manager を含むシークレットを からAPI選択します LogicMonitor。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから送信先に送信します。リクエストのコンテンツエンコーディングを有効または無効にするには、 GZIPまたは Disabled を選択します。

    再試行の期間

    Amazon Data Firehose が選択したHTTPエンドポイントへのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認応答を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

Logz.io の送信先設定を構成する

このセクションでは、送信先に Logz.io を使用する方法について説明します。詳細については、https://logz.io/ を参照してください。

注記

欧州 (ミラノ) リージョンでは、Logz.io は Amazon Data Firehose の送信先としてサポートされていません。

  • 以下のフィールドに値を入力します。

    HTTP エンドポイント URL

    HTTP エンドポイントURLの を次の形式で指定します。は HTTPS URLである必要がありますURL。

    https://listener-aws-metrics-stream-<region>.logz.io/

    例

    https://listener-aws-metrics-stream-us.logz.io/
    認証

    配送トークンを直接入力するか、 からシークレットを取得 AWS Secrets Manager して Logz.io にアクセスするかを選択できます。

    • 配送トークン

      Firehose からこのエンドポイントへのデータ配信を有効にするために必要な配送トークンを取得するには、Logz.io にお問い合わせください。

    • シークレット

      Logz.io の配送トークン AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    再試行の期間

    Amazon Data Firehose が Logz.io へのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認応答を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

MongoDB Cloud の送信先設定を構成する

このセクションでは、送信先に MongoDB Cloud を使用するためのオプションについて説明します。詳細については、「」を参照してくださいhttps://www.mongodb.com。

  • 以下のフィールドに値を入力します。

    MongoDB Realm ウェブフック URL

    HTTP エンドポイントURLの を次の形式で指定します。

     https://webhooks.mongodb-realm.com

    は HTTPS URLである必要がありますURL。

    認証

    API キーを直接入力するか、 からシークレットを取得 AWS Secrets Manager して MongoDB Cloud にアクセスするかを選択できます。

    • API キー

      MongoDB クラウドに連絡して、Firehose からこのエンドポイントへのデータ配信を有効にするために必要なAPIキーを取得します。

    • シークレット

      MongoDB クラウドの APIキー AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから送信先に送信します。リクエストのコンテンツエンコーディングを有効または無効にするには、 GZIPまたは Disabled を選択します。

    再試行の期間

    Amazon Data Firehose が選択したサードパーティープロバイダーへのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認応答を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

New Relic の送信先設定を構成する

このセクションでは、送信先に New Relic を使用するためのオプションについて説明します。詳細については、「」を参照してくださいhttps://newrelic.com。

  • 以下のフィールドに値を入力します。

    HTTP エンドポイント URL

    ドロップダウンリストから次のオプションURLからHTTPエンドポイントを選択します。

    • New Relic ログ - 米国

    • New Relic メトリクス - 米国

    • New Relic メトリクス - EU

    認証

    API キーを直接入力するか、 からシークレットを取得 AWS Secrets Manager して New Relic にアクセスするかを選択できます。

    • API キー

      New Relic One アカウント設定から、40 文字の 16 進数の文字列であるライセンスキーを入力します。Firehose からこのエンドポイントへのデータ配信を有効にするには、このAPIキーが必要です。

    • シークレット

      New Relic のAPIキー AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから送信先に送信します。リクエストのコンテンツエンコーディングを有効または無効にするには、 GZIPまたは Disabled を選択します。

    再試行の期間

    Amazon Data Firehose が New Relic HTTPエンドポイントへのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認応答を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

Snowflake の送信先設定を構成する

このセクションでは、送信先に Snowflake を使用するためのオプションについて説明します。

注記

Firehose と Snowflake の統合は、米国東部 (バージニア北部）、米国西部 (オレゴン）、欧州 (アイルランド）、米国東部 (オハイオ）、アジアパシフィック (東京）、欧州 (フランクフルト）、アジアパシフィック (シンガポール）、アジアパシフィック (ソウル）、アジアパシフィック (シドニー）、アジアパシフィック (ムンバイ）、欧州 (ロンドン）、南米 (サンパウロ）、カナダ (中部）、欧州 (パリ）、アジアパシフィック (大阪）、欧州 (ストックホルム）、アジアパシフィック (ジャカルタ) で利用できます AWS リージョン。

接続設定

  • 以下のフィールドに値を入力します。

    Snowflake アカウント URL

    Snowflake アカウント を指定しますURL。例: xy12345.us-east-1.aws.snowflakecomputing.com。アカウントの確認方法については、Snowflake のドキュメントを参照してくださいURL。ポート番号は指定しないでくださいが、プロトコル (https://) はオプションです。

    認証

    ユーザーログイン、プライベートキー、パスフレーズを手動で入力するか、 からシークレットを取得 AWS Secrets Manager して Snowflake にアクセスするかを選択できます。

    • ユーザーログイン

      データのロードに使用する Snowflake ユーザーを指定します。ユーザーが Snowflake テーブルにデータを挿入するためのアクセス権を持っていることを確認します。

    • プライベートキー

      Snowflake での認証に使用されるユーザーのプライベートキーを指定します。プライベートキーが PKCS8形式であることを確認します。このキーの一部としてPEMヘッダーとフッターを含めないでください。キーが複数の行に分割されている場合は、改行を削除します。

    • パスフレーズ

      暗号化されたプライベートキーを復号するパスフレーズを指定します。プライベートキーが暗号化されていない場合は、このフィールドを空のままにしておくことができます。詳細については、「キーペア認証とキーローテーションの使用」を参照してください。

    • シークレット

      Snowflake の認証情報 AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    ロール設定

    デフォルトの Snowflake ロールを使用する – このオプションを選択すると、Firehose は Snowflake にロールを渡しません。デフォルトのロールはデータをロードすることを想定しています。デフォルトのロールに Snowflake テーブルにデータを挿入するアクセス許可があることを確認してください。

    カスタム Snowflake ロールを使用する – Snowflake テーブルにデータをロードするときに Firehose が引き受けるデフォルト以外の Snowflake ロールを入力します。

    Snowflake 接続

    オプションはプライベートまたはパブリック です。

    プライベート VPCE ID (オプション）

    Firehose が Snowflake にプライベートに接続するための VPCE ID。ID 形式は com.amazonaws.vpce.[region].vpce-svc-[id]。 詳細については、AWS PrivateLink 「」および「Snowflake」を参照してください。

    注記

    Snowflake ネットワークが Firehose へのアクセスを許可していることを確認します。使用できる のリストについては、VPCEIDs「」を参照してくださいでの Snowflake へのアクセス VPC。

データベース設定

  • Snowflake を Firehose ストリームの送信先として使用するには、次の設定を指定する必要があります。

    • Snowflake データベース — Snowflake のすべてのデータはデータベースに保持されます。

    • Snowflake スキーマ – 各データベースは 1 つ以上のスキーマで構成され、テーブルやビューなどのデータベースオブジェクトの論理グループです。

    • Snowflake テーブル – Snowflake 内のすべてのデータは、列と行のコレクションとして論理的に構造化されたデータベーステーブルに保存されます。

Snowflake テーブルのデータロードオプション

  • 列名としてJSONキーを使用する

  • VARIANT 列を使用する

    • コンテンツ列名 – raw データをロードする必要がある列名をテーブルに指定します。

    • メタデータ列名 (オプション) — メタデータ情報をロードする必要がある列名をテーブルに指定します。

再試行の期間

Snowflake サービスの問題により、チャネルを開くか Snowflake への配信が失敗した場合に Firehose が再試行する時間 (0～7200 秒）。Firehose は、再試行期間が終了するまでエクスポネンシャルバックオフで再試行します。再試行時間を 0 (ゼロ) 秒に設定すると、Firehose は Snowflake の障害時に再試行せず、データを Amazon S3 エラーバケットにルーティングします。

バッファヒント

Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。詳細については、「バッファリングヒントを設定する」を参照してください。

Splunk の送信先設定を構成する

このセクションでは、送信先に Splunk を使用するためのオプションについて説明します。

注記

Firehose は、Classic Load Balancer または Application Load Balancer で設定された Splunk クラスターにデータを配信します。

  • 以下のフィールドに値を入力します。

    Splunk クラスターエンドポイント

    エンドポイントを確認するには、Splunk ドキュメントの「Splunk プラットフォームにデータを送信するように Amazon Data Firehose を設定する」を参照してください。

    Splunk エンドポイントタイプ

    ほとんどの場合は Raw endpoint を選択します。を使用してデータを前処理し AWS Lambda 、イベントタイプ別に異なるインデックスにデータを送信したEvent endpointかどうかを選択します。使用するエンドポイントの詳細については、Splunk ドキュメントの「Splunk プラットフォームにデータを送信するように Amazon Data Firehose を設定する」を参照してください。

    認証

    認証トークンを直接入力するか、 からシークレットを取得 AWS Secrets Manager して Splunk にアクセスするかを選択できます。

    • 認証トークン

      Amazon Data Firehose からデータを受信できる Splunk エンドポイントを設定するには、Splunk ドキュメントの「Amazon Data Firehose 用 Splunk アドオンのインストールと設定の概要」を参照してください。この Firehose ストリームのエンドポイントをセットアップするときに Splunk から取得したトークンを保存し、ここに追加します。

    • シークレット

      Splunk の認証トークン AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    HEC 確認タイムアウト

    Amazon Data Firehose が Splunk からのインデックス確認を待機する時間を指定します。タイムアウトに達する前に Splunk が確認を送信しない場合、Amazon Data Firehose はそれをデータ配信の失敗と見なします。次に、Amazon Data Firehose は、設定した再試行期間の値に応じて、データを再試行するか、Amazon S3 バケットにバックアップします。

    再試行の期間

    Amazon Data Firehose が Splunk へのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまず Splunk からの確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がデータを Splunk に送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、Splunk からの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

Splunk Observability Cloud の送信先設定を構成する

このセクションでは、送信先に Splunk Observability Cloud を使用する方法について説明します。詳細については、https://docs.splunk.com/observability/「en/gdi/get-data-in/connect/aws/aws-apiconfig.html#connect-to-aws-using-the-splunk-observability-cloud-api」を参照してください。

  • 以下のフィールドに値を入力します。

    クラウド取り込みエンドポイント URL

    Splunk Observability Cloud のリアルタイムデータインジェストは、 URL プロファイル > Organizations > Splunk Observability コンソールのリアルタイムデータインジェストエンドポイントで確認できます。

    認証

    アクセストークンを直接入力するか、 からシークレットを取得 AWS Secrets Manager して Splunk Observability Cloud にアクセスするかを選択できます。

    • アクセストークン

      Splunk Observability コンソールの設定のアクセストークンから、INGEST認可スコープを持つ Splunk Observability アクセストークンをコピーします。

    • シークレット

      Splunk Observability Cloud のアクセストークン AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから送信先に送信します。リクエストのコンテンツエンコーディングを有効または無効にするには、 GZIPまたは Disabled を選択します。

    再試行の期間

    Amazon Data Firehose が選択したHTTPエンドポイントへのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認応答を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。送信先の推奨バッファサイズは、サービスプロバイダーによって異なります。

Sumo Logic の送信先設定を構成する

このセクションでは、送信先に Sumo Logic を使用するためのオプションについて説明します。詳細については、「」を参照してくださいhttps://www.sumologic.com。

  • 以下のフィールドに値を入力します。

    HTTP エンドポイント URL

    HTTP エンドポイントURLの を の形式で指定しますhttps://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token。は HTTPS URLである必要がありますURL。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから送信先に送信します。リクエストのコンテンツエンコーディングを有効または無効にするには、 GZIPまたは Disabled を選択します。

    再試行の期間

    Amazon Data Firehose が Sumo Logic へのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認応答タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。Elastic を送信先とする場合の推奨のバッファサイズは、サービスプロバイダーに応じて異なります。

Elastic の送信先設定を構成する

このセクションでは、送信先に Elastic を使用する方法について説明します。

  • 以下のフィールドに値を入力します。

    Elastic エンドポイント URL

    HTTP エンドポイントURLの を次の形式で指定します: https://<cluster-id>.es.<region>.aws.elastic-cloud.com。は HTTPS URLである必要がありますURL。

    認証

    Elastic AWS Secrets Manager にアクセスするには、APIキーを直接入力するか、 からシークレットを取得するかを選択できます。

    • API キー

      Elastic に連絡して、Firehose からサービスへのデータ配信を有効にするために必要なAPIキーを取得します。

    • シークレット

      Elastic のAPIキー AWS Secrets Manager を含むシークレットを から選択します。ドロップダウンリストにシークレットが表示されない場合は、 でシークレットを作成します AWS Secrets Manager。詳細については、「Amazon Data Firehose AWS Secrets Manager で を使用して認証する」を参照してください。

    コンテンツのエンコーディング

    Amazon Data Firehose は、コンテンツエンコーディングを使用してリクエストの本文を圧縮してから送信先に送信します。リクエストのコンテンツエンコーディングを有効または無効にするには、 GZIP (デフォルトで選択されているもの) または無効を選択します。

    再試行の期間

    Amazon Data Firehose が Elastic へのデータ送信を再試行する期間を指定します。

    データの送信後、Amazon Data Firehose はまずHTTPエンドポイントからの確認を待ちます。エラーが発生した場合、または確認タイムアウト期間内に確認が到着しない場合、Amazon Data Firehose は再試行期間カウンターを開始します。再試行期間が終わるまで再試行が続けられます。その後、Amazon Data Firehose はそれをデータ配信の失敗と見なし、データを Amazon S3 バケットにバックアップします。

    Amazon Data Firehose がHTTPエンドポイントにデータを送信するたびに (最初の試行または再試行）、確認応答タイムアウトカウンターが再起動し、HTTPエンドポイントからの確認応答を待ちます。

    再試行期間が終了しても、Amazon Data Firehose は確認応答を受信するか、確認タイムアウト期間に達するまで確認応答を待機します。確認がタイムアウトすると、Amazon Data Firehose は再試行カウンターに残り時間があるかどうかを判断します。残り時間がある場合は、確認が到着するか再試行時間が切れたと判断されるまで再試行されロジックが繰り返されます。

    Amazon Data Firehose でデータの送信を再試行しない場合は、この値を 0 に設定します。

    Parameters - オプション

    Amazon Data Firehose は、各HTTP呼び出しにこれらのキーと値のペアを含めます。これらのパラメータを使用すると、送信先の識別や整理に役立ちます。

    バッファリングヒント

    Amazon Data Firehose は、受信データをバッファしてから、指定された宛先に配信します。Elastic の送信先の推奨バッファサイズは 1 MiB です。