Kafka 接続を作成する - AWS Glue

Kafka 接続を作成する

Kafka 接続を作成するときには、ドロップダウンメニューから Kafka を選択すると追加設定が表示され、構成できるようになります。

  • Kafka クラスターの詳細

  • 認証

  • Encryption

  • ネットワークオプション

Kafka クラスターの詳細を設定する

  1. クラスターの場所を選択します。Amazon Managed Streaming for Apache Kafka (MSK) クラスターまたは Customer managed Apache Kafka クラスターから選択できます。Amazon Managed streaming for Apache Kafka の詳細については、Amazon Managed Streaming for Apache Kafka (MSK) を参照してください。

    注記

    Amazon Managed Streaming for Apache Kafka は TLS および SASL/SCRAM-SHA-512 認証方法のみをサポートします。

    スクリーンショットは、クラスターの場所を選択したり、Kafka ブートストラップサーバーの URL を入力したりすることができる Kafka クラスターの詳細セクションを示しています。

  2. Kafka ブートストラップサーバーの URL を入力します。各サーバーをカンマで区切ることで、複数のサーバーを入力できます。URL の末尾に :<port number> を足してポート番号を入力します。

    例: b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

認証方法の選択

スクリーンショットには、Kafka 認証方法を選択できるドロップダウンメニューが表示されています。

AWS Glue は、認証用の Simple Authentication and Security Layer (SASL) フレームワークをサポートしています。SASL フレームワークはさまざまな認証メカニズムをサポートしており、AWS Glue は SCRAM プロトコル (ユーザー名およびパスワード)、GSSAPI プロトコル (Kerberos プロトコル)、PLAIN プロトコル (ユーザー名およびパスワード) を提供します。

ドロップダウンメニューから認証方法を選択するときには、次のクライアント認証方法を選択できます。

  • None - 認証なし。これは、テスト目的で接続する場合に便利です。

  • SASL/SCRAM-SHA-512 - これを選択すると、この認証方法のための認証情報が指定されます。2 つのオプションがあります。

    • AWS Secrets Manager を使用 (推奨) - このオプションを選択すると、認証情報が AWS Secrets Manager に保存され、必要になった際に AWS Glue からその情報へアクセスすることを許可できます。SSL または SASL 認証の認証情報を格納するシークレットを指定します。

      スクリーンショットは、認証方法が SALS/SCRAM-SHA-512 の場合の認証情報オプションを示しています。

    • ユーザー名とパスワードを直接指定します。

  • SASL/GSSAPI (Kerberos) - このオプションを選択すると、キータブファイル、krb5.conf ファイルの場所を選択して、Kerberos プリンシパル名と Kerberos サービス名を入力することができます。キータブファイルと krb5.conf ファイルの場所は、Simple Storage Service (Amazon S3) がある場所の中にする必要があります。MSK は SALS/GSSAPI をまだサポートしていないため、このオプションは Customer Managed Apache Kafka クラスターでのみ使用できます。詳細については、「MIT Kerberos ドキュメント: キータブ」を参照してください。

  • SASL/PLAIN - 認証用の認証情報を指定するためにこの認証方法を選択します。2 つのオプションがあります。

    • AWS Secrets Manager を使用 (推奨) - このオプションを選択すると、認証情報が AWS Secrets Manager に保存され、必要になった際に AWS Glue からその情報へアクセスすることを許可できます。SSL または SASL 認証の認証情報を格納するシークレットを指定します。

    • ユーザー名とパスワードを直接指定します。

  • SSL クライアント認証 - このオプションを選択すると、Simple Storage Service (Amazon S3) を参照することで Kafka クライアントキーストアの場所を選択できます。オプションで、Kafka クライアントキーストアのパスワードと Kafka クライアントキーのパスワードを入力できます。

スクリーンショットは、SSL が認証方法である場合の暗号化オプションを示しています。

暗号化設定の構成

  1. Kafka 接続に SSL 接続が必要な場合は、[Require SSL connection] (SSL 接続が必要) チェックボックスを選択します。SSL 経由で接続できない場合、接続は失敗することに留意してください。暗号化用の SSL は、任意の認証方法 (SASL/SCRAM-SHA-512、SASL/GSSAPI、SASL/PLAIN、SSL クライアント認証) と使用できるオプションです。

    認証方式が [SSL client authentication] (SSL クライアント認証) に設定されている場合、このオプションは自動的に選択され、変更を防ぐために無効化されます。

  2. (オプション)。認証機関 (CA) からプライベート証明書の場所を選択します。証明書の場所は S3 が存在する場所の中である必要があることに留意してください。[Browse] (参照) を選択して、接続された S3 バケットからファイルを選択します。パスは s3://bucket/prefix/filename.pem の形式で指定する必要があります。ファイル名と .pem 拡張子で終わる必要があります。

  3. 認証機関 (CA) からの証明書の検証はスキップできます。[Skip validation of certificate from certificate authority (CA)] (認証機関 (CA) からの証明書の検証をスキップする) チェックボックスを選択してください。このチェックボックスにチェックは入っていない場合、AWS Glue は、3 つのアルゴリズムの証明書を検証します。

    • SHA256withRSA

    • SHA384withRSA

    • SHA512withRSA

スクリーンショットには、暗号化の構成に関するオプションが示されています。これらのオプションには SSL 接続を必要とするかどうかのオプション、認証機関 (CA) からのプライベート証明書の場所を選択するオプション、認証機関 (CA) からの証明書の検証をスキップするためのオプションが含まれます。

(オプション) ネットワークオプション

以下は、VPC、サブネット、およびセキュリティグループを設定するためのオプションのステップです。AWS Glue ジョブを仮想プライベートクラウド (VPC) サブネット内の Amazon EC2 インスタンスで実行する必要がある場合は、追加の VPC に固有の設定情報を提供する必要があります。

  1. データストアが含まれる VPC (仮想プライベートクラウド) を選択します。

  2. VPC を持つサブネットを選択します。

  3. VPC サブネット内のデータストアへのアクセスを許可するセキュリティグループを 1 つ以上選択します。セキュリティグループは、サブネットに接続されている ENI に関連付けられています。すべての TCP ポートに対して、自己参照のインバウンドルールを持つセキュリティグループを少なくとも 1 つ選択する必要があります。

スクリーンショットは、VPC、サブネット、およびセキュリティグループのオプションとなるネットワークオプションを示しています。