Amazon MSK を使用した Amazon Data Firehose への書き込み

Firehose ストリームに情報を送信するように Amazon MSK を設定できます。

1. にサインイン AWS Management Console し、https://console.aws.amazon.com/firehose/ で Amazon Data Firehose コンソールを開きます。

2. Firehose ストリームの作成 を選択します。

   このページにある [ソースと送信先を選択] セクションで、次のフィールドに値を入力します。

   ソース

   Amazon MSK を選択して、Amazon MSK をデータソースとして使用する Firehose ストリームを設定します。MSK プロビジョンドクラスターと MSK サーバーレスクラスターのどちらかを選択できます。その後、Amazon Data Firehose を使用して、特定の Amazon MSK クラスターとトピックからデータを簡単に読み取り、指定された S3 送信先にロードできます。

   送信先

   Firehose ストリームの送信先として Amazon S3 を選択します。

   このページにある [ソース設定] セクションで、次のフィールドに値を入力します。

   Amazon MSK クラスター接続

   クラスター設定に基づいて、[プライベートブートストラップブローカー] (推奨) か [パブリックブートストラップブローカー]] のいずれかを選択します。ブートストラップブローカーは、Apache Kafka クライアントがクラスターに接続するときの出発点として使用するものです。パブリックブートストラップブローカーは の外部からのパブリックアクセスを目的としており AWS、プライベートブートストラップブローカーは 内からのアクセスを目的としています AWS。詳細については、「Amazon Managed Streaming for Apache Kafka」を参照してください。

   プライベートブートストラップブローカーを介して Amazon MSK プロビジョンドクラスターまたはサーバーレスクラスターに接続するには、クラスターが以下の要件をすべて満たしている必要があります。

   • クラスターがアクティブである必要があります。

   • アクセスコントロール方法の 1 つとしてクラスターが IAM を持っている必要があります。

   • IAM アクセスコントロール方法でマルチ VPC プライベート接続が有効になっている必要があります。

   • このクラスターには、Amazon Data Firehose サービスプリンシパルに Amazon MSK CreateVpcConnection API を呼び出すアクセス許可を付与するリソースベースのポリシーを追加する必要があります。

   パブリックブートストラップブローカーを介して Amazon MSK プロビジョンドクラスターに接続するには、クラスターが以下の要件をすべて満たしている必要があります。

   • クラスターがアクティブである必要があります。

   • アクセスコントロール方法の 1 つとしてクラスターが IAM を持っている必要があります。

   • クラスターはパブリックにアクセス可能でなければなりません。

   Amazon MSK クラスター

   同じアカウントシナリオで、Firehose ストリームがデータを読み取る Amazon MSK クラスターの ARN を指定します。

   クロスアカウントのシナリオについては、「Amazon MSK からのクロスアカウント配信」を参照してください。

   トピック

   Firehose ストリームがデータを取り込む Apache Kafka トピックを指定します。Firehose ストリームが作成されると、このトピックを更新することはできません。

   ページの Firehose ストリーム名 セクションで、次のフィールドの値を指定します。

   Firehose ストリーム名

   Firehose ストリームの名前を指定します。

3. 次に、レコード変換とレコード形式の変換を設定するオプションのステップを実行できます。詳細については、「レコード変換と形式変換を設定する」を参照してください。