建立 Amazon S3 位置 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建立 Amazon S3 位置

Amazon S3 儲存貯體可以是下列項目的來源或目的地位置AWS DataSync。

搭配使用 Amazon S3 時請謹記下列要點 DataSync:

  • 對物件資料或中繼資料的變更等同於刪除和取代物件。這些變更會在下列案例中產生額外費用:

    • 使用物件版本控制時:對物件資料或中繼資料進行變更後會建立物件的新版本。

    • 使用可能會因覆寫、刪除或擷取物件而產生額外的費用的儲存類別:對物件資料或中繼資料的變更會產生此類費用。如需詳細資訊,請參閱 在中使用 Amazon S3 儲存體方案時的注意事項 DataSync

  • 使用物件版本控制時,執行 DataSync 任務可能會建立 Amazon S3 物件的多個版本。

  • DataSync 需要存取您的 Amazon S3 儲存貯體。若要執行此作業, DataSync 假設 IAM 角色,其中包含 IAM 政策和 Security Token Service (STS) 信任關係。政策決定角色可以執行的動作。讓 DataSync 為您建立角色或指定您建立的角色。如需詳細資訊,請參閱 手動設定 IAM 角色以存取您的 Amazon S3 儲存貯體

  • 除了授予的 IAM 政策 DataSync 我們建議您為 S3 儲存貯體建立分段上傳儲存貯體政策,以協助控制您的儲存成本。如需詳細資訊,請參閱部落格文章Amazon S3 生命週期管理更新-Support 分段上傳和刪除標記

建立 Amazon S3 位置

  1. 開啟AWS DataSync主控台https://console.aws.amazon.com/datasync/

  2. 前往Locations頁面並選擇建立位置

  3. 適用於位置類型,選擇Simple Storage Service (Amazon Simple Storage Service (Amazon S3))

  4. 適用於S3 儲存貯體,選擇您要做為位置使用的儲存貯體。(創建您的 DataSync 任務後會指定此位置是來源還是目的地位置。)

    如果 S3 儲存貯體位於AWS Outposts時,您必須指定 Amazon S3 存取點。如需詳細資訊,請參閱「」使用 Amazon S3 存取點管理資料存取中的Amazon S3 使用者指南

  5. 適用於S3 儲存類別中選擇您要將物件傳輸至其中的儲存體方案。

    某些儲存類別可能會影響您的 Amazon S3 成本。如需詳細資訊,請參閱 在中使用 Amazon S3 儲存體方案時的注意事項 DataSync。Amazon S3AWS Outposts、 DataSync 默認情況下使用 S3 Outposts 存儲類。

  6. 適用於代理程式,指定的 Amazon Resource Name (ARN) DataSync 代理在您AWS Outposts。

    如需詳細資訊,請參閱 部署您的代理程式AWS Outposts

  7. 適用於資料夾,在 S3 儲存貯體中輸入字首 DataSync讀取或寫入 (取決於值區是來源位置還是目的地位置)。

    注意

    前置字串不能以斜線開頭 (例如/photos) 或包含連續斜線,例如photos//2006/January

  8. 針對 IAM role (IAM 角色),執行以下其中一項作業:

    • 選擇自動產生為了 DataSync ,自動建立擁有存取 S3 儲存貯體所需的許可的 IAM 角色。

      如果 DataSync 先前為 S3 儲存貯體建立 IAM 角色,預設會選取該角色。

    • 選取您建立的自訂 IAM 角色。如需詳細資訊,請參閱「」手動設定 IAM 角色以存取您的 Amazon S3 儲存貯體

  9. (選用) 選取新增標籤標籤您的 Amazon S3 位置。

    標籤是協助您管理、篩選及搜尋位置的索引鍵/值組。

  10. 選擇建立位置

    建立之後,位置會顯示在Locations(憑證已建立!) 頁面上的名稱有些許差異。

在中使用 Amazon S3 儲存體方案時的注意事項 DataSync

DataSync 可以直接將物件傳輸到您選擇的 Amazon S3 儲存方案。如需 Amazon S3 儲存體方案的詳細資訊,請參閱Amazon S3 儲存類別。有些儲存方案的行為可能會影響 Amazon S3 儲存成本。如需詳細資訊,請參閱 Simple Storage Service (Amazon S3) 定價

您可以在下面找到每個 Amazon S3 儲存類別與搭配使用的一些考量 DataSync。

Amazon S3 儲存類別 考量
S3 Standard 選擇 S3 Standard,透過備援方式在多個可用區域 (不同地理位置) 存放經常存取的檔案。如果您不指定儲存方案,則這是預設值。
S3 Intelligent-Tiering

選擇 S3 Intelligent-Tiering (S3 智慧型分層),自動將資料移至最經濟實惠的儲存存取層,以最佳化儲存成本。

您每月支付 S3 Intelligent-Tiering 儲存體儲存方案中的物件費用。此 Amazon S3 費用包括監控資料存取模式以及在不同層之間移動物件。

S3 標準 – IA

選擇 S3 Standard-IA,透過備援方式在多個可用區域 (不同地理位置) 存放不常存取的檔案。

存放在 S3 Standard-IA (S3 標準-IA) 儲存方案中的物件,可能會因覆寫、刪除或擷取而產生額外的費用。考慮這些物件變更的頻率、計劃保留這些物件的時間長度,以及需要存取這些物件的頻率。對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代它。如此會因存放在 S3 標準 — IA (S3 標準-IA) 儲存方案中的物件而產生額外的費用。

小於 128 KB 的物件小於 S3 標準 — IA (S3 標準-IA) 儲存方案中每個物件的最低容量費用。這些物件會存放在 S3 標準儲存類別中。

S3 單區域 – IA

選擇 S3 One Zone-IA,在單一可用區域中存放不常存取的檔案。

存放在 S3 One Zone-IA (S3 單區域-IA) 儲存方案中的物件,可能會因覆寫、刪除或擷取而產生額外的費用。考慮這些物件變更的頻率、計劃保留這些物件的時間長度,以及需要存取這些物件的頻率。對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代它。如此會因存放在 S3 單區域 — IA (單區域-IA) 儲存方案中的物件而產生額外的費用。

小於 128 KB 的物件小於 S3 單區域 — IA (S3 單區域-IA) 儲存方案中每個物件的最低容量費用。這些物件會存放在 S3 標準儲存類別中。

S3 Glacier Flexible Retrieval

選擇 S3 Glacier Flexible Recuer 以使用中存檔。

存放在 S3 Glacier Flexible Restore 方案中的物件,可能會因覆寫、刪除或擷取而產生額外的費用。考慮這些物件變更的頻率、計劃保留這些物件的時間長度,以及需要存取這些物件的頻率。對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代它。如此會因存放在 S3 Glacier Flexible RePrivate 儲存方案中的物件而產生額外的費用。

小於 40 KB 的物件小於 S3 Glacier Flexible RePrivate 儲存方案中每個物件的最低容量費用。這些物件會存放在 S3 標準儲存類別中。

您必須先還原在此儲存類別中封存的物件,之前 DataSync 可以讀取這些值。如需相關資訊,請參閱「」。使用封存的物件中的Amazon S3 使用者指南

使用 S3 Glacier Flexible ReteSync 時,選擇僅驗證傳輸的資料比較傳輸結束時的資料和中繼資料的檢查總和。您無法使用驗證目的地中的所有資料此儲存類別的選項,因為它需要從目的地擷取所有現有物件。

S3 Glacier Deep Archive

選擇 S3 Glacier Deep Archive 將檔案存檔,以進行長期資料保留和數位保留,其中的資料會每年存取一次或兩次。

存放在 S3 Glacier Deep Archive 方案中的物件,可能會因覆寫、刪除或擷取而產生額外的費用。考慮這些物件變更的頻率、計劃保留這些物件的時間長度,以及需要存取這些物件的頻率。對物件資料或詮釋資料的變更等同於刪除物件並建立新物件來取代它。如此會因存放在 S3 Glacier Deep Archive 儲存方案中的物件而產生額外的費用。

小於 40 KB 的物件小於 S3 Glacier Deep Archive 儲存方案中每個物件的最低容量費用。這些物件會存放在 S3 標準儲存類別中。

您必須先還原在此儲存類別中封存的物件,之前 DataSync 可以讀取這些值。如需相關資訊,請參閱「」。使用封存的物件中的Amazon S3 使用者指南

使用 S3 Glacier Deep Archive 時,選擇僅驗證傳輸的資料比較傳輸結束時的資料和中繼資料的檢查總和。Verify all data in the destination (驗證目的地中的所有資料) 不是此儲存類別的可用選項,因為它需要從目的地擷取所有現有物件。

S3 Outposts

Amazon S3 on Outposts 的儲存方案。

手動設定 IAM 角色以存取您的 Amazon S3 儲存貯體

當您使用 DataSync 建立 Amazon S3 位置的主控台, DataSync 會自動為您建立具備必要許可的 IAM 角色。如果您要手動建立 IAM 角色,請使用以下程序。

手動設定 IAM 角色以存取您的 Amazon S3 儲存貯體

  1. 在以下網址開啟 IAM 主控台:https://console.aws.amazon.com/iam/

  2. 在左側導覽窗格中,選擇角色(下一步),然後選擇建立角色開啟建立角色(憑證已建立!) 頁面上的名稱有些許差異。

  3. 在 中選取信任的實體類型區段,請確定AWS服務被選取。

  4. UnderChoose is use this role,選擇 DataSync或手動設定 (請參閱下列範例)。

    為了防止跨服務混淆代理人問題,我們建議使用aws:SourceArnaws:SourceAccount政策中的全域條件內容金鑰。

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "123456789012" }, "StringLike": { "aws:SourceArn": "arn:aws:datasync:us-east-2:123456789012:*" } } } ] }
  5. Under選擇您的使用案例,選擇DataSync-S3 位置

  6. 選擇 Next: (下一步:) Permissions (許可)。

  7. 對於 Amazon S3 儲存貯體AWS 區域,選擇亞馬遜FullAccess。您也可以手動設定有更多限制的政策。如需此類政策的範例,請參閱下列內容。

    { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": "YourS3BucketArn" }, { "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:GetObjectTagging", "s3:PutObjectTagging", "s3:PutObject" ], "Effect": "Allow", "Resource": "YourS3BucketArn/*" } ] }

    對於 Outposts 上的 Amazon S3 儲存貯體,請使用下列政策。

    { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3-outposts:ListBucket", "s3-outposts:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn", "s3OutpostsAccessPointArn" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn" } } }, { "Action": [ "s3-outposts:AbortMultipartUpload", "s3-outposts:DeleteObject", "s3-outposts:GetObject", "s3-outposts:ListMultipartUploadParts", "s3-outposts:GetObjectTagging", "s3-outposts:PutObjectTagging" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn/*", "s3OutpostsAccessPointArn" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn" } } }, { "Effect": "Allow", "Action": [ "s3-outposts:GetAccessPoint" ], "Resource": "s3OutpostsAccessPointArn" } ] }
  8. (選用)選擇 Next: 標籤為該角色建立標籤。

  9. 選擇 Next: (下一步:) 檢閱,選擇 Role (角色) 名稱,然後選擇角色名稱建立角色

  10. 開啟AWS DataSync主控台https://console.aws.amazon.com/datasync/

  11. 選擇 IAM 角色清單右側的重新整理按鈕,然後選擇您剛才建立的角色。