為 Amazon S3 創建一個位置 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

為 Amazon S3 創建一個位置

Amazon S3 的位置是AWS DataSync會使用做為來源或目的地。

建立 Amazon S3 位置

  1. 開啟AWS DataSync主控台位於https://console.aws.amazon.com/datasync/

  2. 在導覽窗格中,選擇 Locations (位置)。位置清單中會顯示您先前建立的位置。

  3. Create location (建立位置) 頁面上,選擇 Create location (建立位置)

  4. Location type (位置類型) 中,選擇 Amazon S3 bucket (Amazon S3 儲存貯體)

  5. 適用於Amazon S3 儲存貯體中,選擇您想要使用做為端點的 Amazon S3 儲存貯體。您稍後會將此位置設定為來源或目的地。

    如果您的 Amazon S3 儲存貯體位於AWS前哨,指定Amazon S3 存取點。選擇您要用來傳送物件的存取點。DataSync 僅支援位於AWS Outposts。如需 Amazon S3 存取點的詳細資訊,請參閱使用 Amazon S3 存取點管理資料存取中的Amazon S3 使用者指南

  6. 適用於Amazon S3 儲存體方案中,選擇您想要將物件直接傳輸至其中的儲存類別。如需儲存體方案的資訊,請參閱Amazon S3 儲存類別中的Amazon S3 使用者指南。有些儲存方案的行為可能會影響 Amazon S3 成本。如需詳細資訊,請參閱 在 DataSync S3 儲存體方案中使用 Amazon S3 儲存體方案時的考量

    對於 Outposts 上的 Amazon S3,DataSync 會自動預設為 S3 Outposts 儲存類別。

  7. 適用於代理程式:如果您的 Amazon S3 儲存貯體位於AWS前哨站,您必須在前哨站上部署 Amazon EC2 代理程式。代理程式必須位於允許存取步驟 5 中指定的存取點的 VPC 中,且該存取點已在您的前哨站的父區域中啟動。代理程式也必須能夠路由到儲存貯體 Outposts 端點上的 Amazon S3。如需有關在啟動 DataSync 代理程式的詳細資訊AWS Outposts,請參閱將您的 DataSync 代理程式部署到AWS Outposts

  8. 適用於資料夾,請在 Amazon S3 中提供資料夾的名稱。這是 DataSync S3 使用的 Amazon S3 資料夾,可用來從 Amazon S3 來源位置讀取資料,或寫入資料至 Amazon S3 目的地。

  9. 適用於IAM 角色中,選擇自動產生,以自 DataSync 建立具備必要許可的角色。

    如果 DataSync 先前已為此 Amazon S3 儲存貯體建立這樣的資料夾,則該角色在清單中為預設被選取的角色。您也可以建立自己的角色,然後從清單中選擇它。如需手動建立 IAM 角色的說明,請參閱 手動配置 IAM 角色以存取您的 Amazon S3 儲存貯體

  10. (選擇性) 對於金鑰數值) 中提供值以標記您的 Amazon S3 位置。標籤是協助您管理、篩選及搜尋位置的索引鍵/值組。

  11. 完成時,請選擇 Create location (建立位置)。您剛建立的位置會出現於位置清單。

注意
  • 對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代物件。這會在下列案例中產生額外費用:

  • 當您使用物件版本控制時,單一 DataSync Amazon S3 物件的多個版本。

  • 除了授予 DataSync 許可的 IAM 政策外,建議您也需為 Amazon S3 儲存貯體建立分段上傳儲存貯體政策。這麼做可協助您控制您的儲存成本。如需詳細資訊,請參閱部落格文章Amazon S3 生命週期管理更新-Support 分段上傳和刪除標記

Amazon S3 位置設定

如果您要做為來源或目的地使用的位置是 Amazon S3 儲存貯體,請進行以下設定。

Amazon S3 儲存貯體

您要做為來源或目的地位置使用的 Amazon S3 儲存貯體。

儲存方案

這可讓您直接將物件傳輸至您選擇的 Amazon S3 儲存方案。如需儲存體方案的資訊,請參閱Amazon S3 儲存類別中的Amazon S3 使用者指南。有些儲存方案的特定行為可能會影響 Amazon S3 儲存成本。如需詳細資訊,請參閱 在 DataSync S3 儲存體方案中使用 Amazon S3 儲存體方案時的考量。對於 Outposts 上的 Amazon S3,DataSync 會自動預設為 S3 Outposts 儲存類別。

Folder

這是 DataSync S3 使用的 Amazon S3 資料夾,可用來從 Amazon S3 來源位置讀取資料,或寫入資料至 Amazon S3 目的地。

IAM 角色

所以此AWS Identity and Access Management(IAM) 角色,該角色具有存取 Amazon S3 儲存貯體的許可。

DataSync S3 儲存貯體需要存取 Amazon S3 儲存貯體,才能存取目的地 Amazon S3 儲存貯體。為了獲得此存取權限,DataSync 會擔任您提供的 IAM 角色。此角色需要 IAM 政策和 Security Token Service (STS) 信任關係。政策決定角色可以執行的動作。DataSync 可代表您建立角色。如需指示,請參閱 為 Amazon S3 創建一個位置。您也可以手動建立角色,然後從主控台的清單中選擇它。如需指示,請參閱 手動配置 IAM 角色以存取您的 Amazon S3 儲存貯體

Tag

可識別 Amazon S3 位置的索引鍵/值組。根據預設,DataSync 主控台會以任務或位置名稱預先填入名稱值。

存取點

如果您的 Amazon S3 儲存貯體位於AWS哨站,指定 Amazon S3 存取點。選擇您要用來傳送物件的存取點。DataSync 僅支援位於AWS Outposts。如需 Amazon S3 存取點的詳細資訊,請參閱使用 Amazon S3 存取點管理資料存取中的Amazon S3 使用者指南

Agents

如果您的 Amazon S3 儲存貯體位於AWS哨站,您必須在哨站上部署 Amazon EC2 代理程式。代理程式必須位於允許存取存取點的 VPC 中,且必須在前哨站的父區域中啟動。代理程式也必須能夠路由到儲存貯體 Outposts 端點上的 Amazon S3。如需有關在啟動 DataSync 代理程式的詳細資訊AWS Outposts,請參閱將您的 DataSync 代理程式部署到AWS Outposts

在 DataSync S3 儲存體方案中使用 Amazon S3 儲存體方案時的考量

DataSync 可以直接將物件傳輸到您選擇的 Amazon S3 儲存方案。如需 Amazon S3 儲存類別的詳細資訊,請參閱Amazon S3 儲存類別。有些儲存方案的行為可能會影響 Amazon S3 儲存成本。如需詳細資訊,請參閱 Amazon S3 定價

下文會提供每個 Amazon S3 儲存方案與 DataSync 搭配使用的一些考量。

Amazon S3 儲存體方案 考量
S3 Standard 選擇 S3 Standard,透過備援方式在多個可用區域 (不同地理位置) 存放經常存取的檔案。如果您不指定儲存方案,則這是預設值。
S3 Intelligent-Tiering

選擇 S3 Intelligent-Tiering (S3 智慧型分層),自動將資料移至最經濟實惠的儲存存取層,以最佳化儲存成本。

您支付儲存在 S3 Intelligent-Tiering 儲存體方案中的每個物件的每月費用。這項 Amazon S3 費用包括監控資料存取模式和在不同層之間移動物件。

S3 標準 – IA

選擇 S3 Standard-IA,透過備援方式在多個可用區域 (不同地理位置) 存放不常存取的檔案。

存放在 S3 Standard-IA (標準-IA) 儲存方案中的物件,可能會因覆寫、刪除或擷取而產生額外的費用。考慮這些物件變更的頻率、計劃保留這些物件的時間長度,以及需要存取這些物件的頻率。對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代物件。如此會對儲存在 S3 標準 — IA 儲存體方案中的物件產生額外費用。

小於 128 KB 的物件小於 S3 Standard-IA (標準-IA) 儲存方案中每個物件的最低容量費用。這些物件會儲存在 S3 標準儲存類別中。

S3 單區域 – IA

選擇 S3 One Zone-IA,在單一可用區域中存放不常存取的檔案。

存放在 S3 One Zone-IA (單區域-IA) 儲存方案中的物件,可能會因覆寫、刪除或擷取而產生額外的費用。考慮這些物件變更的頻率、計劃保留這些物件的時間長度,以及需要存取這些物件的頻率。對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代物件。如此會對儲存在 S3 單區域 — IA 儲存類別中的物件產生額外費用。

小於 128 KB 的物件小於 S3 One Zone-IA (單區域-IA) 儲存方案中每個物件的最低容量費用。這些物件會儲存在 S3 標準儲存類別中。

S3 Glacier

選擇 S3 Glacier 將檔案存檔以用於多個作用中存檔。

存放在 S3 Glacier 方案中的物件,可能會因覆寫、刪除或擷取而產生額外的費用。考慮這些物件變更的頻率、計劃保留這些物件的時間長度,以及需要存取這些物件的頻率。對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代物件。如此會對存放在 S3 Glacier 儲存體方案中的物件產生額外費用。

小於 40 KB 的物件小於 S3 Glacier 儲存方案中每個物件的最低容量費用。這些物件會儲存在 S3 標準儲存類別中。

使用 S3 冰川作為 Amazon S3 儲存類別時,請選擇只驗證傳輸的資料,以比較傳輸結束時的資料和中繼資料的檢查總和。Verify all data in the destination (驗證目的地中的所有資料) 不是此儲存類別的可用選項,因為它需要從目的地擷取所有現有物件。

S3 Glacier Deep Archive

選擇 S3 Glacier Deep Archive 將檔案存檔,以進行長期資料保留和數位保留,其中的資料會每年存取一次或兩次。

存放在 S3 Glacier Deep Archive 方案中的物件,可能會因覆寫、刪除或擷取而產生額外的費用。考慮這些物件變更的頻率、計劃保留這些物件的時間長度,以及需要存取這些物件的頻率。對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代物件。這樣會因存放在 S3 Glacier Deep Archive 儲存方案中的物件而產生額外的費用。

小於 40 KB 的物件小於 S3 Glacier Deep Archive 儲存方案中每個物件的最低容量費用。這些物件會儲存在 S3 標準儲存類別中。

使用 S3 Glacier Deep Archive 做為 Amazon S3 儲存類別時,請選擇只驗證傳輸的資料,以比較傳輸結束時的資料和中繼資料的檢查總和。Verify all data in the destination (驗證目的地中的所有資料) 不是此儲存類別的可用選項,因為它需要從目的地擷取所有現有物件。

S3 Outposts

Amazon S3 on Outposts on Outposts 的儲存方案。

手動配置 IAM 角色以存取您的 Amazon S3 儲存貯體

使用 DataSync 主控台建立 Amazon S3 位置時,DataSync 會自動為您建立具有必要許可的 IAM 角色。如果您要手動建立 IAM 角色,請使用以下程序。

手動配置 IAM 角色以存取您的 Amazon S3 儲存貯體

  1. 在以下網址開啟 IAM 主控台:https://console.aws.amazon.com/iam/

  2. 在左側導覽窗格中,選擇角色,接著選擇建立角色開啟建立角色(憑證已建立!) 頁面上的名稱有些許差異。

  3. 在 中選擇信任的實體類型區段中,請確定AWS服務已選取。

  4. UNDER選擇將使用此角色的服務中,選擇DataSync,或手動設定,如下列範例所示。

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }
  5. 選擇 Next: (下一步:) Permissions (許可)。

  6. 對於 Amazon S3 儲存貯體AWS 區域中,選擇AmazonS3FullAccess。您也可以手動設定限制較多的政策。如需此類政策的範例,請參閱下列內容。

    { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": "YourS3BucketArn" }, { "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:GetObjectTagging", "s3:PutObjectTagging", "s3:PutObject" ], "Effect": "Allow", "Resource": "YourS3BucketArn/*" } ] }

    對於 Outposts 站上的 Amazon S3 儲存貯體,請使用下列政策。

    { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3-outposts:ListBucket", "s3-outposts:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn", "s3OutpostsAccessPointArn" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn" } } }, { "Action": [ "s3-outposts:AbortMultipartUpload", "s3-outposts:DeleteObject", "s3-outposts:GetObject", "s3-outposts:ListMultipartUploadParts", "s3:GetObjectTagging", "s3:PutObjectTagging" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn/*", "s3OutpostsAccessPointArn" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn" } } }, { "Effect": "Allow", "Action": [ "s3-outposts:GetAccessPoint" ], "Resource": "s3OutpostsAccessPointArn" } ] }
  7. (選用)選擇 Next: Nex 標籤建立角色的標籤。

  8. 選擇 Next: (下一步:) 檢閱,選擇角色名稱,然後選擇建立角色

  9. 開啟AWS DataSync主控台位於https://console.aws.amazon.com/datasync/

  10. 選擇 IAM 角色清單右側的重新整理按鈕,然後選擇您剛才建立的角色。