AWS SDK - Amazon Data Firehose

Amazon S3 の Apache Iceberg テーブルへの Amazon Data Firehose ストリームの配信はプレビュー中であり、変更される可能性があります。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS SDK

Amazon Data Firehose API を使用して、 for AWS SDKJava 、.、Node.NETjs 、Python 、または Ruby を使用して Firehose ストリームにデータを送信できます。 https://aws.amazon.com/sdk-for-javascript/Amazon Data Firehose を初めて使用する場合は、「」で説明されている概念と用語に慣れてくださいAmazon Data Firehose とは。詳細については、「アマゾン ウェブ サービスを使用した開発の開始」を参照してください。

これらのサンプルは、すべての例外を確認しているわけではなく、すべてのセキュリティやパフォーマンスの側面を考慮しているわけでもない点で、本稼働環境に使用できるコードを表すものではありません。

Amazon Data Firehose APIには、Firehose ストリームにデータを送信するための 2 つのオペレーションである PutRecordと がありますPutRecordBatchPutRecord()は 1 回の呼び出しで 1 つのデータレコードを送信し、1 回の呼び出しで複数のデータレコードを送信PutRecordBatch()できます。

を使用した単一書き込みオペレーション PutRecord

データを配置するには、Firehose ストリーム名とバイトバッファ (<=1000 KB) のみが必要です。Amazon Data Firehose はファイルを Amazon S3 にロードする前に複数のレコードをバッチ処理するため、レコード区切り文字を追加することもできます。Firehose ストリームに一度に 1 つのレコードのデータを配置するには、次のコードを使用します。

PutRecordRequest putRecordRequest = new PutRecordRequest(); putRecordRequest.setDeliveryStreamName(deliveryStreamName); String data = line + "\n"; Record record = new Record().withData(ByteBuffer.wrap(data.getBytes())); putRecordRequest.setRecord(record); // Put record into the DeliveryStream firehoseClient.putRecord(putRecordRequest);

コードコンテキストの詳細については、 に含まれているサンプルコードを参照してください AWS SDK。リクエストとレスポンスの構文については、Firehose API Operations の関連トピックを参照してください。

を使用したバッチ書き込みオペレーション PutRecordBatch

データを配置するには、Firehose ストリーム名とレコードのリストのみが必要です。Amazon Data Firehose はファイルを Amazon S3 にロードする前に複数のレコードをバッチ処理するため、レコード区切り文字を追加することもできます。データレコードを Firehose ストリームにバッチで入力するには、次のコードを使用します。

PutRecordBatchRequest putRecordBatchRequest = new PutRecordBatchRequest(); putRecordBatchRequest.setDeliveryStreamName(deliveryStreamName); putRecordBatchRequest.setRecords(recordList); // Put Record Batch records. Max No.Of Records we can put in a // single put record batch request is 500 firehoseClient.putRecordBatch(putRecordBatchRequest); recordList.clear();

コードコンテキストの詳細については、 に含まれているサンプルコードを参照してください AWS SDK。リクエストとレスポンスの構文については、Firehose API Operations の関連トピックを参照してください。