步驟 1:設定必要資源 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

步驟 1:設定必要資源

在此步驟中,您需要建立以下此開始使用案例中所需的資源:

  • S3 儲存貯體,作為從連接器接收資料的目的地。

  • MSK 叢集,作為接收傳送資料的目的地。接著,連接器會從此叢集讀取資料,並將其傳送至目的地 S3 儲存貯體。

  • IAM 角色,允許連接器寫入目的地 S3 儲存貯體。

  • Amazon VPC 端點,讓您可從具有叢集和連接器的 Amazon VPC 將資料傳送至 Amazon S3。

建立 S3 儲存貯體
  1. 登入 AWS Management Console 並開啟 Amazon S3 主控台,網址為 https://console.aws.amazon.com/s3/

  2. 選擇建立儲存貯體

  3. 請為儲存貯體名稱輸入描述性名稱,例如 mkc-tutorial-destination-bucket

  4. 向下捲動並選擇建立儲存貯體

  5. 在儲存貯體清單中,選擇您新建立的儲存貯體。

  6. 選擇 Create folder (建立資料夾)。

  7. 輸入 tutorial 作為資料夾名稱,然後向下捲動並選擇建立資料夾

建立叢集
  1. 開啟 Amazon MSK 主控台,網址為 https://console.aws.amazon.com/msk/home?region=us-east-1#/home/

  2. 在左窗格的 MSK 叢集下,選擇叢集

  3. 選擇建立叢集

  4. 選擇自訂建立

  5. 針對叢集名稱,請輸入 mkc-tutorial-cluster

  6. 在「一般叢集屬性」下,請選擇佈建作為叢集類型。

  7. 聯網下,請選擇 Amazon VPC。然後請選取您要使用的可用區域和子網路。請記住您選取的 Amazon VPC 和子網路的 ID,因為稍後在本教學課程中您將需要這些 ID。

  8. 存取控制方法下,請確認僅選取未身分驗證的存取

  9. 加密下,請確認僅選取純文字

  10. 繼續執行精靈,然後選擇建立叢集。這會帶您前往叢集的詳細資訊頁面。在該頁面的已套用的安全群組下,找到安全群組 ID。記住該 ID,因為稍後在本教學可課程中您將需要該 ID。

建立可寫入目的地儲存貯體的IAM 角色
  1. 開啟位於 https://console.aws.amazon.com/iam/ 的 IAM 主控台。

  2. 在左窗格的存取管理下,選擇角色

  3. 選擇建立角色

  4. 或者選取服務以檢視其使用案例下,選擇 S3

  5. 向下捲動並在選取您的使用案例下方,再次選擇 S3

  6. 選擇 Next: Permissions (下一步:許可)。

  7. 選擇建立政策。這會在您的瀏覽器中開啟新索引標籤,您將在其中建立政策。請持續開啟原始角色建立索引標籤,因為我們稍後會回到該索引標籤。

  8. 選擇 JSON 索引標籤,並使用以下政策取代視窗中的文字。

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListAllMyBuckets" ], "Resource": "arn:aws:s3:::*" }, { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetBucketLocation", "s3:DeleteObject" ], "Resource": "arn:aws:s3:::<my-tutorial-destination-bucket>" }, { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:AbortMultipartUpload", "s3:ListMultipartUploadParts", "s3:ListBucketMultipartUploads" ], "Resource": "*" } ] }
  9. 選擇下一步:標籤

  10. 選擇下一步:檢閱

  11. 輸入 mkc-tutorial-policy 作為政策名稱,然後向下滑動並選擇建立政策

  12. 返回您正在其中建立角色的瀏覽器索引標籤,然後選擇重新整理按鈕。

  13. 找到 mkc-tutorial-policy 並選擇其左側的按鈕以進行選取。

  14. 選擇下一步:標籤

  15. 選擇下一步:檢閱

  16. 輸入 mkc-tutorial-role 作為角色名稱,然後刪除描述方塊中的文字。

  17. 選擇建立角色

允許 MSK Connect 擔任該角色
  1. 在 IAM 主控台中,於左窗格的存取管理下,選擇角色

  2. 找到 mkc-tutorial-role 並選擇。

  3. 在該角色的摘要下,選擇信任關係索引標籤。

  4. 選擇編輯信任關係

  5. 使用以下 JSON 來取代現有信任政策。

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "kafkaconnect.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }
  6. 選擇 Update Trust Policy (更新信任政策)。

建立從叢集的 VPC 到 Amazon S3 的 Amazon VPC 端點
  1. 前往 https://console.aws.amazon.com/vpc/ 開啟 Amazon VPC 主控台。

  2. 在左側窗格中選擇端點

  3. 選擇建立端點

  4. 服務名稱下,選擇 com.amazonaws.us-east-1.s3 服務和閘道類型。

  5. 選擇叢集的 VPC,然後選取與叢集子網路相關聯之路由表左側的方塊。

  6. 選擇建立端點

後續步驟

步驟 2:建立自訂外掛程式