Amazon S3 の Apache Iceberg テーブルへの Amazon Data Firehose ストリームの配信はプレビュー中であり、変更される可能性があります。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
データを送信するように Kinesis エージェントを設定する
Amazon Kinesis エージェントは、データを収集して Firehose に送信する方法を示すリファレンス実装として機能するスタンドアロンの Java ソフトウェアアプリケーションです。エージェントは一連のファイルを継続的にモニタリングし、新しいデータを Firehose ストリームに送信します。エージェントは、ファイルローテーション、チェックポイント、および障害発生時の再試行を処理する方法を示します。これは、信頼性が高く、タイムリーでシンプルな方法でデータを配信する方法を示しています。また、ストリーミングプロセスのモニタリングとトラブルシューティングを改善するためにメトリクスを出力 CloudWatchする方法も示します。詳細については、awslabs/amazon-kinesis-agent
デフォルトでは、レコードは改行文字 ('\n') に基づいて各ファイルから解析されます。しかし、複数行レコードを解析するよう、エージェントを設定することもできます (エージェント設定の指定を参照)。
このエージェントは、ウェブサーバー、ログサーバーおよびデータベースサーバーなど、Linux ベースのサーバー環境にインストールできます。エージェントをインストールしたら、モニタリングするファイルと Firehose ストリームを指定してデータを設定します。エージェントを設定すると、ファイルから永続的にデータを収集し、Firehose ストリームに確実に送信します。
前提条件
Kinesis Agent の使用を開始する前に、次の前提条件を満たしていることを確認してください。
-
オペレーティングシステムは Amazon Linux、または Red Hat Enterprise Linux バージョン 7 以降でなければなりません。
-
エージェントバージョン 2.0.0 以降は、JREバージョン 1.8 以降を使用して実行されます。エージェントバージョン 1.1.x は 1.7 JRE 以降を使用して実行されます。
-
Amazon を使用してエージェントEC2を実行している場合は、EC2インスタンスを起動します。
-
IAM ロールまたは AWS 指定する 認証情報には、エージェントが Firehose ストリームにデータを送信するために Amazon Data Firehose PutRecordBatchオペレーションを実行するアクセス許可が必要です。エージェント CloudWatch のモニタリングを有効にする場合は、 オペレーションを実行する CloudWatch PutMetricDataアクセス許可も必要です。詳細については、Amazon Data Firehose によるアクセスの制御「」、Kinesis Agent のヘルスをモニタリングする「」、および「Amazon の認証とアクセスコントロール CloudWatch」を参照してください。
