建立 Kafka 連線 - AWS Glue

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立 Kafka 連線

建立 Kafka 連線時，從下拉式選單中選取 Kafka 將會顯示要設定的其他設定：

  • Kafka 叢集詳細資訊

  • 身分驗證

  • 加密

  • 網路選項

設定 Kafka 叢集詳細資訊

  1. 選擇叢集位置。您可以選擇 Amazon managed streaming for Apache Kafka (MSK) 叢集或客戶受管的 Apache Kafka 叢集。如需 Amazon Managed streaming for Apache Kafka 的詳細資訊，請參閱 Amazon managed streaming for Apache Kafka (MSK)。

    注意

    Amazon Managed Streaming for Apache Kafka 僅支援 TLS 和 SASL/SCRAM-SHA-512 身分驗證方法。

    螢幕擷取畫面顯示了 Kafka 叢集詳細資訊區段，其中包含可選擇叢集位置和輸入 Kafka 自舉伺服器 URL 的選項。

  2. 輸入您的 Kafka Bootstrap 伺服器的 URL。您可以用逗號分隔每個伺服器，進而輸入多個伺服器。附加 :<port number> 即可在 URL 的結尾處加上連接埠號碼，

    例如：b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

選取身分驗證方法

螢幕擷取畫面顯示了可用於選取 Kafka 身分驗證方法的下拉式選單。

AWS Glue 支援用於身分驗證的 Simple Authentication and Security Layer (SASL) 架構。SASL 架構支援各種身分驗證機制， AWS Glue 並提供 SCRAM （使用者名稱和密碼）、GSSAPI (Kerberos 通訊協定） 和 PLAIN （使用者名稱和密碼） 通訊協定。

從下拉式選單中選擇身分驗證方法時，可以選取以下用戶端身分驗證方法：

  • 無 - 無身分驗證。如果為進行測試而建立連線，此方法會很有用。

  • SASL/SCRAM-SHA-512 – 選擇此驗證方法來指定驗證憑證。有兩種可用選項：

    • 使用 AWS Secrets Manager （建議） - 如果您選取此選項，您可以將登入資料存放在 AWS Secrets Manager 中，並在需要時讓 AWS Glue 存取資訊。指定存放 SSL 或 SASL 驗證憑證的秘密。

      螢幕擷取畫面顯示了身分驗證方法為 SASL/SCRAM-SHA-512 時的身分驗證憑證選項。

    • 直接提供使用者名稱和密碼。

  • SASL/GSSAPI (Kerberos) - 如果您選取此選項，則可以選取 keytab 檔案和 krb5.conf 檔案的位置，然後輸入 Kerberos 主體名稱和 Kerberos 服務名稱。keytab 檔案和 krb5.conf 檔案的位置必須位於 Amazon S3 位置。由於 MSK 尚不支援 SASL/GSSAPI，此選項僅適用於客戶受管的 Apache Kafka 叢集。如需詳細資訊，請參閱 MIT Kerberos 文件：Keytab。

  • SASL/PLAIN - 選擇此身分驗證方法以指定身分驗證憑證。有兩種可用選項：

    • 使用 AWS Secrets Manager （建議） - 如果您選取此選項，您可以將登入資料存放在 AWS Secrets Manager 中，並在需要時讓 AWS Glue 存取資訊。指定存放 SSL 或 SASL 驗證憑證的秘密。

    • 直接提供使用者名稱和密碼。

  • SSL 用戶端身分驗證 - 如果您選取此選項，則可以透過瀏覽 Amazon S3 來選取 Kafka 用戶端金鑰存放區的位置。或者，您可以輸入 Kafka 用戶端金鑰存放區密碼和 Kafka 用戶端金鑰密碼。

螢幕擷取畫面顯示了身分驗證方法為 SSL 時的加密選項。

設定加密設定

  1. 如果 Kafka 連線需要 SSL 連線，請選取 Require SSL connection (需要 SSL 連線) 核取方塊。請注意，如果連線無法透過 SSL 連接，則連線將會失敗。加密的 SSL 可與任何身分驗證方法 (SASL/SCRAM-SHA-512、SASL/GSSAPI、SASL/PLAIN 或 SSL 用戶端身分驗證） 搭配使用，而且是選用的。

    如果身分驗證方法設定為 SSL client authentication (SSL 用戶端身分驗證)，則將會自動選取此選項，並將其停用以防止任何變更。

  2. (選用)。從憑證授權機構 (CA) 中，選擇私有憑證的位置。請注意，憑證必須位於 S3 位置。選擇 Browse (瀏覽) 從連接的 S3 儲存貯體中選擇檔案。該路徑的格式必須是 s3://bucket/prefix/filename.pem。其檔案名稱結尾必須是 .pem 副檔名。

  3. 您可以選擇略過憑證授權機構 (CA) 的憑證驗證。選擇 Skip validation of certificate from certificate authority (CA) (略過憑證授權機構 (CA) 的憑證驗證) 核取方塊。如果未勾選此方塊，則 AWS Glue 會驗證三種演算法的憑證：

    • SHA256withRSA

    • SHA384withRSA

    • SHA512withRSA

螢幕擷取畫面顯示了可用於設定加密的選項，包括是否要求 SSL 連接、從憑證授權機構 (CA) 選擇私有憑證位置的選項以及略過憑證授權機構 (CA) 的憑證驗證的選項。

(選用) 網路選項

以下是設定 VPC、子網路和安全群組的可選步驟。如果您的 AWS Glue 任務需要在虛擬私有雲端 (VPC) 子網路中的 Amazon EC2 執行個體上執行，您必須提供額外的 VPC 特定組態資訊。

  1. 選擇包含您的資料來源的 VPC (虛擬私有雲端)。

  2. 選擇 VPC 中的子網路。

  3. 選擇一個或多個允許存取 VPC 子網路中資料存放區的安全群組。安全群組與連接到子網路的 ENI 相關聯。您必須至少選擇一個安全群組並為所有 TCP 連接埠建立自我引用的傳入規則。

螢幕擷取畫面顯示了 VPC、子網路和安全群組的可選網路選項。