バックアップと詳細設定を構成する

このトピックでは、Firehose ストリームのバックアップと詳細設定を構成する方法について説明します。

バックアップ設定を構成する

Amazon Data Firehose は Amazon S3 を使用して、選択した送信先に配信しようとしたすべてのデータまたは失敗したデータのみをバックアップします。

重要

バックアップ設定は、Firehose ストリームのソースが Direct PUT または Kinesis Data Streams の場合にのみサポートされます。
ゼロバッファリング機能はアプリケーションの送信先でのみ使用でき、Amazon S3 バックアップの送信先では使用できません。

次のいずれかを選択した場合は、Firehose ストリームの S3 バックアップ設定を指定できます。

Amazon S3 を Firehose ストリームの送信先として設定し、データレコードを変換する AWS Lambda 関数を指定するか、Firehose ストリームのデータレコード形式を変換することを選択した場合。
Amazon Redshift を Firehose ストリームの送信先として設定し、データレコードを変換する AWS Lambda 関数を指定することを選択した場合。
Firehose ストリームの送信先として次のいずれかのサービスを設定した場合: Amazon OpenSearch Service、Datadog、Dynatrace、HTTP Endpoint、、MongoDB Cloud LogicMonitor、New Relic、Splunk、または Sumo Logic。

Firehose ストリームのバックアップ設定は次のとおりです。

Amazon S3 でのソースレコードバックアップ- S3 または Amazon Redshift が選択した送信先である場合、この設定は、ソースデータのバックアップを有効にするか無効のままにするかを示します。選択した送信先としてサポートされている他のサービス (S3 または Amazon Redshift 以外) が設定されている場合、この設定は、すべてのソースデータまたは失敗したデータのみをバックアップするかどうかを示します。
S3 バックアップバケット - Amazon Data Firehose がデータをバックアップする S3 バケットです。
S3 バックアップバケットプレフィックス - これは Amazon Data Firehose がデータをバックアップするプレフィックスです。
S3 バックアップバケットエラー出力プレフィックス - すべての失敗したデータは、この S3 バケットエラー出力プレフィックスにバックアップされます。
バックアップのバッファリングヒント、圧縮、暗号化 - Amazon Data Firehose は Amazon S3 を使用して、選択した送信先に配信しようとしたすべてのデータまたは失敗したデータのみをバックアップします。Amazon Data Firehose は、受信データをバッファしてから Amazon S3 に配信 (バックアップ) します。バッファサイズは 1～128、バッファ間隔 MiBs は 60～900 秒を選択できます。最初に満たした条件によって、Amazon S3 へのデータ配信がトリガーされます。データ変換を有効にすると、バッファ間隔は、変換されたデータが Amazon Data Firehose によって受信されてから Amazon S3 へのデータ配信に適用されます。送信先へのデータ配信が Firehose ストリームへのデータ書き込みより遅れた場合、Amazon Data Firehose はバッファサイズを動的に上げて追いつきます。このアクションにより、すべてのデータが送信先に適切に配信されます。
S3 圧縮 - GZIP、Snappy、Zip、Hadoop 互換の Snappy データ圧縮を選択するか、データ圧縮なしを選択します。Amazon Redshift を送信先とする Firehose ストリームでは、Snappy、Zip、Hadoop 互換の Snappy 圧縮は使用できません。
S3 ファイル拡張子形式 (オプション) — Amazon S3 送信先バケットに配信されるオブジェクトのファイル拡張子形式を指定します。この機能を有効にすると、指定したファイル拡張子は、Data Format Conversion または .parquet や .gz などの S3 圧縮機能によって追加されたデフォルトのファイル拡張子を上書きします。Data Format Conversion または S3 圧縮でこの機能を使用するときは、適切なファイル拡張子が設定されていることを確認してください。ファイル拡張子はピリオド (.) で始まり、0～9a～z!～_.*‘() の文字を使用できます。ファイル拡張子は 128 文字を超えることはできません。
Firehose は、Amazon S3 で配信されたデータを暗号化するための AWS Key Management Service (SSE-KMS) による Amazon S3 サーバー側の暗号化をサポートしています。送信先 S3 バケットで指定されたデフォルトの暗号化タイプを使用するか、所有するキーのリストから AWS KMS キーで暗号化するかを選択できます。 AWS KMS キーでデータを暗号化する場合は、デフォルトの AWS マネージドキー (aws/s3) またはカスタマーマネージドキーを使用できます。詳細については、AWS 「KMS マネージドキーによるサーバー側の暗号化 (SSE-KMS) を使用したデータの保護」を参照してください。

詳細設定の設定

次のセクションには、Firehose ストリームの高度な設定の詳細が含まれています。

サーバー側の暗号化 - Amazon Data Firehose はAmazon S3で配信されたデータを暗号化するための AWS Key Management Service (AWS KMS) による Amazon S3 サーバー側の暗号化をサポートしています。詳細については、AWS 「KMS マネージドキーによるサーバー側の暗号化 (SSE-KMS) を使用したデータの保護」を参照してください。
エラーログ記録 - Amazon Data Firehose は、処理と配信に関連するエラーをログに記録します。さらに、データ変換を有効にすると、Lambda 呼び出しをログに記録し、データ配信エラーを CloudWatch Logs に送信できます。詳細については、 CloudWatch 「ログを使用した Amazon Data Firehose のモニタリング」を参照してください。

重要
オプションですが、Firehose ストリームの作成中に Amazon Data Firehose エラーログ記録を有効にすることを強くお勧めします。これにより、レコード処理や配信に失敗した場合でもそのエラーの詳細にアクセスすることができます。
アクセス許可 - Amazon Data Firehose は、Firehose ストリームに必要なすべてのアクセス許可に IAM ロールを使用します。必要なアクセス許可が自動的に割り当てられた新しいロールを作成するか、Amazon Data Firehose 用に作成された既存のロールを選択するかを選択できます。このロールは、S3 バケット、 AWS KMS キー (データ暗号化が有効になっている場合）、Lambda 関数 (データ変換が有効になっている場合) など、さまざまなサービスへのアクセスを Firehose に許可するために使用されます。コンソールはプレースホルダーを使ってロールを作成する可能性があります。詳細については、「IAM とは何ですか?」を参照してください。
タグ - タグを追加して、 AWS リソースの整理、コストの追跡、アクセスの制御を行うことができます。

CreateDeliveryStream アクションでタグを指定すると、Amazon Data Firehose はfirehose:TagDeliveryStreamアクションに対して追加の認証を実行して、ユーザーがタグを作成するアクセス許可を持っているかどうかを確認します。このアクセス許可を指定しない場合、IAM リソースタグを使用して新しい Firehose ストリームを作成するリクエストは、AccessDeniedException次のようなで失敗します。
```
AccessDeniedException 
User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy.
```
次の例は、ユーザーが Firehose ストリームを作成し、タグを適用できるようにするポリシーを示しています。
```
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:CreateDeliveryStream",
            "Resource": "*",
            }
        },
        {
            "Effect": "Allow",
            "Action": "firehose:TagDeliveryStream",
            "Resource": "*",
            }
        }
    ]
}
```

バックアップ設定と詳細設定を選択したら、選択内容を確認し、Firehose ストリームの作成 を選択します。

新しい Firehose ストリームが使用可能になるまでに、Creating 状態で少し時間がかかります。Firehose ストリームがアクティブ状態になったら、プロデューサーからストリームにデータの送信を開始できます。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

送信先設定を構成する

バッファリングヒントを理解する