本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
步驟 1:設定必要資源
在此步驟中,您需要建立以下此開始使用案例中所需的資源:
-
S3 儲存貯體,作為從連接器接收資料的目的地。
-
MSK 叢集,作為接收傳送資料的目的地。接著,連接器會從此叢集讀取資料,並將其傳送至目的地 S3 儲存貯體。
-
IAM 角色,允許連接器寫入目的地 S3 儲存貯體。
-
Amazon VPC 端點,讓您可從具有叢集和連接器的 Amazon VPC 將資料傳送至 Amazon S3。
建立 S3 儲存貯體
登入 AWS Management Console 並開啟 Amazon S3 主控台,網址為 https://console.aws.amazon.com/s3/
。 -
選擇建立儲存貯體。
-
請為儲存貯體名稱輸入描述性名稱,例如
mkc-tutorial-destination-bucket
。 -
向下捲動並選擇建立儲存貯體。
-
在儲存貯體清單中,選擇您新建立的儲存貯體。
-
選擇 Create folder (建立資料夾)。
-
輸入
tutorial
作為資料夾名稱,然後向下捲動並選擇建立資料夾。
建立叢集
開啟 Amazon MSK 主控台,網址為 https://console.aws.amazon.com/msk/home?region=us-east-1#/home/
。 -
在左窗格的 MSK 叢集下,選擇叢集。
-
選擇建立叢集。
-
選擇自訂建立。
-
針對叢集名稱,請輸入
mkc-tutorial-cluster
。 -
在「一般叢集屬性」下,請選擇佈建作為叢集類型。
-
在聯網下,請選擇 Amazon VPC。然後請選取您要使用的可用區域和子網路。請記住您選取的 Amazon VPC 和子網路的 ID,因為稍後在本教學課程中您將需要這些 ID。
-
在存取控制方法下,請確認僅選取未身分驗證的存取。
-
在加密下,請確認僅選取純文字。
-
繼續執行精靈,然後選擇建立叢集。這會帶您前往叢集的詳細資訊頁面。在該頁面的已套用的安全群組下,找到安全群組 ID。記住該 ID,因為稍後在本教學可課程中您將需要該 ID。
建立可寫入目的地儲存貯體的IAM 角色
開啟位於 https://console.aws.amazon.com/iam/
的 IAM 主控台。 -
在左窗格的存取管理下,選擇角色。
-
選擇建立角色。
-
在或者選取服務以檢視其使用案例下,選擇 S3。
-
向下捲動並在選取您的使用案例下方,再次選擇 S3。
-
選擇 Next: Permissions (下一步:許可)。
-
選擇建立政策。這會在您的瀏覽器中開啟新索引標籤,您將在其中建立政策。請持續開啟原始角色建立索引標籤,因為我們稍後會回到該索引標籤。
-
選擇 JSON 索引標籤,並使用以下政策取代視窗中的文字。
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListAllMyBuckets" ], "Resource": "arn:aws:s3:::*" }, { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetBucketLocation", "s3:DeleteObject" ], "Resource": "arn:aws:s3:::
<my-tutorial-destination-bucket>
" }, { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:AbortMultipartUpload", "s3:ListMultipartUploadParts", "s3:ListBucketMultipartUploads" ], "Resource": "*" } ] } -
選擇下一步:標籤。
-
選擇下一步:檢閱。
-
輸入
mkc-tutorial-policy
作為政策名稱,然後向下滑動並選擇建立政策。 -
返回您正在其中建立角色的瀏覽器索引標籤,然後選擇重新整理按鈕。
-
找到
mkc-tutorial-policy
並選擇其左側的按鈕以進行選取。 -
選擇下一步:標籤。
-
選擇下一步:檢閱。
-
輸入
mkc-tutorial-role
作為角色名稱,然後刪除描述方塊中的文字。 -
選擇建立角色。
允許 MSK Connect 擔任該角色
-
在 IAM 主控台中,於左窗格的存取管理下,選擇角色。
-
找到
mkc-tutorial-role
並選擇。 -
在該角色的摘要下,選擇信任關係索引標籤。
-
選擇編輯信任關係。
-
使用以下 JSON 來取代現有信任政策。
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "kafkaconnect.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }
-
選擇 Update Trust Policy (更新信任政策)。
建立從叢集的 VPC 到 Amazon S3 的 Amazon VPC 端點
前往 https://console.aws.amazon.com/vpc/
開啟 Amazon VPC 主控台。 在左側窗格中選擇端點。
選擇建立端點。
在服務名稱下,選擇 com.amazonaws.us-east-1.s3 服務和閘道類型。
選擇叢集的 VPC,然後選取與叢集子網路相關聯之路由表左側的方塊。
選擇建立端點。
後續步驟