步驟 4:在 Amazon MSK叢集中建立主題 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

步驟 4:在 Amazon MSK叢集中建立主題

開始使用 Amazon MSK的此步驟中,您可以在用戶端機器上安裝 Apache Kafka 用戶端程式庫和工具,然後建立主題。

警告

本教學課程中使用的 Apache Kafka 版本號僅為示例。我們建議您使用與MSK叢集版本相同的用戶端版本。較舊的用戶端版本可能缺少特定功能和重大錯誤修正。

尋找MSK叢集的版本
  1. 前往 https://eu-west-2.console.aws.amazon.com/msk/

  2. 選取 MSK 叢集。

  3. 請記住叢集上使用的 Apache Kafka 版本。

  4. 將本教學課程中的 Amazon MSK版本編號執行個體取代為步驟 3 中取得的版本。

若要在用戶端機器上建立主題
  1. 在 開啟 Amazon EC2主控台https://console.aws.amazon.com/ec2/

  2. 在導覽窗格中,選擇 Instances (執行個體)。然後選取您在 步驟 3:建立用戶端機器 建立的用戶端機器名稱旁邊的核取方塊。

  3. 選擇動作,然後選擇連線。遵循主控台的指示操作,連線至您的用戶端機器。

  4. 執行下列命令,在用戶端機器上安裝 Java:

    sudo yum -y install java-11
  5. 執行下列命令下載 Apache Kafka。

    wget https://archive.apache.org/dist/kafka/{YOUR MSK VERSION}/kafka_2.13-{YOUR MSK VERSION}.tgz
    注意

    如果您想要使用此命令中以外的鏡像網站,您可以在 Apache 網站上選擇不同的鏡像網站。

  6. 在您在上一個步驟中下載TAR檔案的目錄中執行下列命令。

    tar -xzf kafka_2.13-{YOUR MSK VERSION}.tgz
  7. 前往 kafka_2.13-{YOUR MSK VERSION}/libs 目錄,然後執行下列命令來下載 Amazon MSK IAM JAR 檔案。Amazon MSKIAMJAR可讓用戶端機器存取叢集。

    wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jar
  8. 前往 kafka_2.13-{YOUR MSK VERSION}/bin 目錄。複製下列屬性設定,並將其貼入新檔案。將檔案命名為 client.properties 並儲存。

    security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler
  9. 在 開啟 Amazon MSK主控台https://console.aws.amazon.com/msk/

  10. 等待叢集的狀態變成作用中。這可能需要幾分鐘的時間。狀態變為作用中之後,選擇叢集名稱。這會帶您前往包含叢集摘要的頁面。

  11. 選擇檢視用戶端資訊

  12. 複製私有端點的連線字串。

    您的每個代理程式將獲得三個端點。您只需要一個代理程式端點即可執行下列步驟。

  13. 執行下列命令,取代 BootstrapServerString 您在上一個步驟中取得的其中一個代理程式端點。

    <path-to-your-kafka-installation>/bin/kafka-topics.sh --create --bootstrap-server BootstrapServerString --command-config client.properties --replication-factor 3 --partitions 1 --topic MSKTutorialTopic

    如果命令成功,您會看到以下訊息:Created topic MSKTutorialTopic.

後續步驟

步驟 5:產生和取用資料