Connector - Amazon Managed Streaming for Apache Kafka
容量コネクタの作成

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Connector

コネクタは、ストリーミングデータをデータソースから Apache Kafka クラスターに継続的にコピーするか、クラスターからデータシンクにデータを継続的にコピーすることにより、外部システムと Amazon サービスを Apache Kafka と統合します。コネクタは、データを宛先に配信する前に、変換、フォーマット変換、データのフィルタリングなどの軽量ロジックを実行することもできます。ソースコネクタはデータソースからデータをプルしてこのデータをクラスターにプッシュし、シンクコネクタはクラスターからデータをプルしてこのデータをデータシンクにプッシュします。

次の図表は、コネクタのアーキテクチャを示しています。ワーカーは、コネクタロジックを実行する Java 仮想マシン (JVM) プロセスです。各ワーカーは、並列スレッドで実行され、データをコピーする作業を行う一連のタスクを作成します。タスクは状態を保存しないため、復元力のあるスケーラブルな Data Pipeline を提供するために、いつでも開始、停止、または再開できます。

コネクタクラスターのアーキテクチャを示す図表。

コネクタ容量

コネクタの総容量は、コネクタが持つワーカーの数、およびワーカーごとの MSK 接続ユニット (MCU) の数によって異なります。各 MCU は、1 vCPU のコンピューティングと 4 GiB のメモリを表します。MCU メモリは、使用中のヒープメモリではなく、ワーカーインスタンスの合計メモリに関係します。

MSK Connect ワーカーは、お客様が用意したサブネットで IP アドレスを使用します。各ワーカーは、お客様が用意したサブネットの 1 つの IP アドレスを使用します。特にワーカー数が変動する可能性のあるコネクタを自動スケーリングする場合は、指定された容量を考慮して CreateConnector リクエストに提供されたサブネットに十分な使用可能な IP アドレスがあることを確認する必要があります。

コネクタを作成するには、次の 2 つの容量モードのいずれかを選択する必要があります。

  • プロビジョニング済み: コネクタの容量要件がわかっている場合は、このモードを選択します。次の 2 つの値を指定します。

    • ワーカー数

    • ワーカーあたりの MCU の数。

  • オートスケーリング: コネクタの容量要件が可変である場合、またはアドバンスにそれらを知らない場合は、このモードを選択します。自動スケーリングモードを使用すると、Amazon MSK Connect はコネクタの tasks.max プロパティを、コネクタで実行されているワーカーの数とワーカーあたりの MCU の数に比例した値で上書きします。

    次の 3 つの値のセットを指定します。

    • ワーカーの最小数と最大数。

    • CPU 使用率のスケールインおよびスケールアウトのパーセンテージ。これは、CpuUtilization メトリクスによって決定されます。コネクタの CpuUtilization メトリクスがスケールアウトのパーセンテージを超えると、MSK Connect はコネクタで実行されているワーカーの数を増やします。CpuUtilization メトリクスがスケールインのパーセンテージを下回ると、MSK Connect はワーカーの数を減らします。ワーカーの数は、コネクタの作成時に指定した最小数と最大数の範囲内に常に留まります。

    • ワーカーあたりの MCU の数。

ワーカーの詳細については、「ワーカー」を参照してください。MSK Connect メトリクスについては、「MSK Connect のモニタリング」を参照してください。

コネクタの作成

を使用したコネクタの作成 AWS Management Console

  1. https://console.aws.amazon.com/msk/ でAmazon MSK コンソールを開きます。

  2. 左側のペインの MSK Connect で、Connectors (コネクタ) を選択します。

  3. Create connector (コネクタの作成) を選択します。

  4. 既存のカスタムプラグインを使用してコネクタを作成するか、最初に新しいカスタムプラグインを作成するかを選択できます。カスタムプラグインとその作成方法については、「プラグイン」を参照してください。この手順では、使用するカスタムプラグインがあると仮定します。カスタムプラグインのリストで、使用するプラグインを見つけ、左側のボックスを選択して、Next (次へ) を選択します。

  5. 名前と、オプションで説明を入力します。

  6. 接続するクラスターを選択します。

  7. コネクタ構成を指定します。指定する必要のある構成パラメータは、作成するコネクタのタイプによって異なります。ただし、connector.class パラメータやtasks.max パラメータなど、一部のパラメータはすべてのコネクタに共通です。以下は、Confluent Amazon S3 Sink Connectorの設定例です。

    connector.class=io.confluent.connect.s3.S3SinkConnector
tasks.max=2
topics=my-example-topic
s3.region=us-east-1
s3.bucket.name=my-destination-bucket
flush.size=1
storage.class=io.confluent.connect.s3.storage.S3Storage
format.class=io.confluent.connect.s3.format.json.JsonFormat
partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter
schema.compatibility=NONE

  8. 次に、コネクタ容量を設定します。プロビジョニングモードとオートスケーリングの 2 つの容量モードから選択できます。これら 2 つのオプションの詳細については、「コネクタ容量」を参照してください。

  9. デフォルトのワーカー構成またはカスタムワーカー構成のいずれかを選択します。カスタムワーカー構成の作成については、「ワーカー」を参照してください。

  10. 次に、サービス実行ロールを指定します。これは、MSK Connect が引き受けることができ、必要な AWS リソースにアクセスするために必要なすべてのアクセス許可をコネクタに付与する IAM ロールである必要があります。これらの権限は、コネクタのロジックによって異なります。このロールを作成する方法については、「サービス実行のロール」を参照してください。

  11. Next (次へ) を選択し、セキュリティ情報を確認してから、もう一度 Next (次へ) を選択します。

  12. 必要なログオプションを指定し、Next (次へ) を選択します。ログ作成の詳細については、「MSK Connect のロギング」を参照してください。

  13. Create connector (コネクタの作成) を選択します。

MSK Connect API を使用してコネクタを作成するには、「」を参照してくださいCreateConnector。