翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon S3 オブジェクトのカスタムプレフィックス
送信先が Amazon S3、Amazon OpenSearch Service、または Splunk の場合、Kinesis Data Firehose からのデータの配信に使用される Amazon S3 オブジェクトキーを設定できます。 これを行うには、配信時に Kinesis Data Firehose が評価する式を指定します。最終的なオブジェクトキーの形式は <evaluated
prefix><suffix>
です。ここで、サフィックスの形式は <delivery stream
name>-<delivery stream
version>-<year>-<month>-<day>-<hour>-<minute>-<second>-<uuid><file
extension>
です。 サフィックスフィールドを変更することはできません。
カスタムプレフィックスでは、フォーム !{namespace:
の式を使用できます。ここで、value
}namespace
は、以下のセクションで説明されているとおり、以下のいずれかです。
-
firehose
-
timestamp
-
partitionKeyFromQuery
-
partitionKeyFromLambda
プレフィックスの最後がスラッシュの場合は、Amazon S3 バケット内のフォルダとして表示されます。詳細については、Amazon Kinesis Data Firehose 開発者ガイドの「Amazon S3 オブジェクト名の形式」を参照してください。
timestamp
名前空間
この名前空間の有効な値は、有効な Java DateTimeFormatter!{timestamp:yyyy}
は 2018
として評価されます。
タイムスタンプを評価するとき、Kinesis Data Firehose は、書き込まれる Amazon S3 オブジェクトに含まれる最も古いレコードのおおよその到達タイムスタンプを使用します。
タイムスタンプは常に UTC です。
timestamp
名前空間を同じプレフィックス式で複数回使用した場合、すべてのインスタンスが同じ時点として評価されます。
firehose
名前空間
この名前空間では、2 つの値 error-output-type
および random-string
を使用できます。 次の表は、これらの値の使用方法を説明しています。
firehose 名前空間の値 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
変換 | 説明 | 入力例 | 出力例 | メモ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
error-output-type |
配信ストリームと失敗の理由に応じて、次の文字列のいずれかとして評価されます: {processing-failed、AmazonOpenSearchService-failed、splunk-failed、format-conversion-failed、http-endpoint-failed}。 同じ式で複数回使用した場合、すべてのインスタンスが同じエラー文字列として評価されます。 |
myPrefix/result=!{firehose:error-output-type}/!{timestamp:yyyy/MM/dd} |
myPrefix/result=processing-failed/2018/08/03 |
error-output-type 値は、ErrorOutputPrefix フィールドでのみ使用できます。 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
random-string |
11 文字のランダムな文字列として評価されます。同じ式で複数回使用した場合、すべてのインスタンスが新しいランダム文字列として評価されます。 |
myPrefix/!{firehose:random-string}/ |
myPrefix/046b6c7f-0b/ |
両方のプレフィックスタイプで使用できます。 形式の文字列の先頭にこれを配置すると、ランダム化されたプレフィックスを取得できます。これは、Amazon S3 で非常に高いスループットを実現するために必要になることがあります。 |
partitionKeyFromLambda
および partitionKeyFromQuery
名前空間
動的パーティショニングでは、S3 バケットプレフィックスで次の式形式を使用する必要があります: !{namespace:value}
。ここで、名前空間は partitionKeyFromQuery
または partitionKeyFromLambda
、またはその両方です。インライン解析を使用してソースデータのパーティショニングキーを作成している場合は、次の形式で指定された式で構成される S3 バケットプレフィックス値を指定する必要があります。"partitionKeyFromQuery:keyID"
。 を使用している場合AWSLambda 関数ソースデータのパーティショニングキーを作成するには、次の形式で指定された式で構成される S3 バケットプレフィックス値を指定する必要があります。"partitionKeyFromLambda:keyID"
。 詳細については、の「配信先に Amazon S3 を選択」を参照してください。Amazon Kinesis Data Firehose 配信ストリームの作成。
セマンティックルール
Prefix
および ErrorOutputPrefix
式には、以下のルールが制限されます。
-
timestamp
名前空間では、一重引用符で囲まれていないすべての文字が評価されます。言い換えると、値フィールドで一重引用符によりエスケープされたすべての文字列が文字どおりに解釈されます。 -
タイムスタンプ名前空間式が含まれないプレフィックスを指定した場合、Kinesis Data Firehose は式
!{timestamp:yyyy/MM/dd/HH/}
をPrefix
フィールドの値に追加します。 -
シーケンス
!{
は、!{namespace:
式にのみ現れます。value
} -
Prefix
に式が含まれていない場合、ErrorOutputPrefix
は null にのみすることができます。この場合、Prefix
は<specified-prefix>yyyy/MM/DDD/HH/
と評価され、ErrorOutputPrefix
は<specified-prefix><error-output-type>YYYY/MM/DDD/HH/
と評価されます。DDD
は日を表します。 -
ErrorOutputPrefix
の式を指定した場合、!{firehose:error-output-type}
のインスタンスを少なくとも 1 つ含める必要があります。 -
Prefix
に!{firehose:error-output-type}
を含めることはできません。 -
Prefix
とErrorOutputPrefix
のどちらも、評価後に 512 文字を超えることはできません。 -
送信先が Amazon Redshift の場合、
Prefix
に式を含めることはできず、ErrorOutputPrefix
は null にする必要があります。 -
送信先が Amazon OpenSearch Service または Splunk であり、
ErrorOutputPrefix
が指定されていない場合、Kinesis Data Firehose は失敗したレコードにPrefix
フィールドを使用します。 -
送信先が Amazon S3 の場合、Amazon S3 送信先設定の
Prefix
およびErrorOutputPrefix
は、それぞれ成功したレコードと失敗したレコードに使用されます。AWS CLI または API を使用する場合は、ExtendedS3DestinationConfiguration
を使用して Amazon S3 バックアップ設定をそれ自身のPrefix
とErrorOutputPrefix
を用いて指定できます。 -
AWS Management Console を使用して、送信先を Amazon S3 に設定すると、Kinesis Data Firehose は送信先設定で、
Prefix
およびErrorOutputPrefix
を、成功したレコードと失敗したレコードにそれぞれ使用します。プレフィックスを指定してもエラープレフィックスがない場合、Kinesis Data Firehose はエラープレフィックスを自動的に!{firehose:error-output-type}/
に設定します。 -
AWS CLI、API または AWS CloudFormation で
ExtendedS3DestinationConfiguration
を使用して、S3BackupConfiguration
を指定する場合、Kinesis Data Firehose はデフォルトのErrorOutputPrefix
を提供しません。 -
ErrorOutputPrefix 式を作成するときに、
partitionKeyFromLambda
およびpartitionKeyFromQuery
名前空間を使用することはできません。
プレフィックスの例
Prefix と ErrorOutputPrefix の例 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Input | 評価されるプレフィックス (2018 年 8 月 27 日の午前 10:30 UTC) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
無効な入力: Prefix に式が含まれている場合、ErrorOutputPrefix を null にすることはできません。 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|