バックアップと詳細設定

このトピックでは、Firehose ストリームのバックアップと詳細設定を構成する方法について説明します。

バックアップ設定

Amazon Data Firehose は、Amazon S3 を使用して、選択した宛先に配信しようとしたすべてのデータまたは障害が発生したデータのみをバックアップします。

重要

Backup 設定は、Firehose ストリームのソースがダイレクト PUT または Kinesis Data Streams 場合にのみサポートされます。

以下のいずれかを選択した場合、Firehose ストリームの S3 バックアップ設定を指定できます。

Amazon S3 を Amazon Data Firehose ストリームの送信先として設定し、データレコードを変換する AWS Lambda 関数を指定するか、配信ストリームのデータレコードフォーマットを変換することを選択した場合。
Amazon Data Firehose ストリームのデスティネーションとして Amazon Redshift を設定し、データレコードを変換する AWS Lambda 関数を指定することを選択した場合。
Firehose Firehose ストリームの送信先として、Amazon OpenSearch サービス、Datadog、Dynatrace、HTTP エンドポイント、MongoDB クラウド、ニューレリック、Splunk、または Sumo Logic のいずれかのサービスを設定した場合。 LogicMonitor

Amazon Data Firehose デリバリーストリームのバックアップ設定は次のとおりです。

Amazon S3 でのソースレコードバックアップ- S3 または Amazon Redshift が選択した送信先である場合、この設定は、ソースデータのバックアップを有効にするか無効のままにするかを示します。選択した送信先としてサポートされている他のサービス (S3 または Amazon Redshift 以外) が設定されている場合、この設定は、すべてのソースデータまたは失敗したデータのみをバックアップするかどうかを示します。
S3 バックアップバケット-これは Amazon Data Firehose がデータをバックアップする S3 バケットです。
S3 バックアップバケットプレフィックス-これは Amazon Data Firehose がデータをバックアップするプレフィックスです。
S3 バックアップバケットエラー出力プレフィックス - すべての失敗したデータは、この S3 バケットエラー出力プレフィックスにバックアップされます。
バックアップ用のバッファリングのヒント、圧縮、暗号化-Amazon Data Firehose は、Amazon S3 を使用して、選択した宛先に配信しようとしたすべてのデータまたは失敗したデータのみをバックアップします。Amazon Data Firehose は、受信データを Amazon S3 に配信 (バックアップ) する前にバッファリングします。1 ～ 128 MiBs のバッファサイズと 60 ～ 900 秒のバッファ間隔を選択できます。最初に満たした条件によって、Amazon S3 へのデータ配信がトリガーされます。データ変換を有効にすると、変換されたデータが Amazon Data Firehose によって受信されてから Amazon S3 へのデータ配信まで、バッファ間隔が適用されます。宛先へのデータ配信が Firehose ストリームへのデータ書き込みよりも遅れる場合、Amazon Data Firehose はバッファサイズを動的に増やしてcatch きます。このアクションにより、すべてのデータが送信先に適切に配信されます。
S3 圧縮-GZIP、Snappy、Zip、または Hadoop 互換の Snappy データ圧縮を選択するか、データ圧縮なしを選択します。Snappy、Zip、および Hadoop 互換の Snappy 圧縮は、Amazon Redshift を送信先とする配信ストリームには使用できません。
S3 ファイル拡張子形式 (オプション) — Amazon S3 宛先バケットに配信されるオブジェクトのファイル拡張子形式を指定します。この機能を有効にすると、指定したファイル拡張子が、データ形式変換機能や S3 圧縮機能 (.parquet や.gz など) によって付加されるデフォルトのファイル拡張子よりも優先されます。データ形式変換または S3 圧縮でこの機能を使用するときは、適切なファイル拡張子を設定していることを確認してください。ファイル拡張子はピリオド (.) で始まる必要があり、使用できる文字 (0-9a-z!) を使用できます。 -_.*' ()。ファイル拡張子は 128 文字以内でなければなりません。
Firehose は、Amazon S3 で配信されるデータを暗号化するための Amazon S3 サーバー側の暗号化 AWS Key Management Service (SSE-KMS) をサポートしています。送信先の S3 バケットで指定されているデフォルトの暗号化タイプを使用するか、所有しているキーのリストからキーを使用して暗号化するかを選択できます。 AWS KMS AWS KMS データをキーで暗号化する場合は、 AWS デフォルト管理キー (aws/s3) またはカスタマー管理キーを使用できます。詳細については、「KMS 管理キーによるサーバー側の暗号化 ( AWS SSE-KMS) によるデータの保護」を参照してください。

詳細設定

Amazon Data Firehose デリバリーストリームの詳細設定は次のとおりです。

サーバー側の暗号化-Amazon Data Firehose は、Amazon S3 AWS で配信されるデータを暗号化するためのキー管理サービス (AWS KMS) による Amazon S3 サーバー側の暗号化をサポートしています。詳細については、「KMS で管理されたキーによるサーバー側の暗号化 (SSE-KMS) によるデータの保護」を参照してください。 AWS
エラーロギング-Amazon Data Firehose は、処理と配信に関連するエラーを記録します。さらに、データ変換が有効になっている場合は、Lambda 呼び出しを記録し、データ配信エラーを Logs に送信できます。 CloudWatch 詳細については、「 CloudWatch ログを使用した Amazon Data Firehose のモニタリング」を参照してください。

重要
オプションですが、Firehose ストリームの作成中に Amazon Data Firehose のエラーロギングを有効にすることを強くお勧めします。これにより、レコード処理や配信に失敗した場合でもそのエラーの詳細にアクセスすることができます。
権限 — Amazon Data Firehose は、Firehose ストリームが必要とするすべてのアクセス権限に IAM ロールを使用します。必要な権限が自動的に割り当てられる新しいロールを作成するか、Amazon Data Firehose 用に作成された既存のロールを選択できます。このロールは、S3 バケット、 AWS KMS キー（データ暗号化が有効になっている場合）、Lambda 関数（データ変換が有効になっている場合）など、さまざまなサービスへのアクセスを Firehose に付与するために使用されます。コンソールはプレースホルダーを使ってロールを作成する可能性があります。詳細については、「IAM とは何ですか?」を参照してください。
タグ-タグを追加して、 AWS リソースの整理、コストの追跡、アクセスの制御を行うことができます。

CreateDeliveryStreamアクションでタグを指定すると、Amazon Data Firehose firehose:TagDeliveryStream はアクションに対して追加の認証を実行して、ユーザーがタグを作成する権限を持っているかどうかを確認します。この権限を付与しない場合、IAM リソースタグを使用して新しい Firehose デリバリーストリームを作成するリクエストは、AccessDeniedException以下のように失敗します。
```
AccessDeniedException 
User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy.
```
次の例は、ユーザーが配信ストリームを作成してタグを適用することを許可するポリシーを示しています。
```
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:CreateDeliveryStream",
            "Resource": "*",
            }
        },
        {
            "Effect": "Allow",
            "Action": "firehose:TagDeliveryStream",
            "Resource": "*",
            }
        }
    ]
}
```

バックアップと詳細設定を選択したら、選択内容を確認して [Firehose ストリームを作成] を選択します。

新しい Firehose ストリームは、使用可能になるまでに作成中状態になるまで少し時間がかかります。Firehose ストリームが Active 状態になったら、プロデューサからストリームへのデータ送信を開始できます。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

送信先設定

バッファリングヒント