使用 Batch Operations 搭配目錄儲存貯體 - Amazon Simple Storage Service

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Batch Operations 搭配目錄儲存貯體

您可以使用 Amazon S3 Batch Operations 對存放在 S3 儲存貯體中的物件執行操作。若要深入了解 S3 Batch Operations,請參閱在 Amazon S3 物件上執行大規模批次操作

下列主題討論如何對儲存在目錄貯體中 S3 Express One Zone 儲存類別的物件執行批次操作。

使用 Batch Operations 搭配目錄儲存貯體

您可以對儲存在目錄儲存貯體中的物件執行複製操作和調用 AWS Lambda 函數操作。您可以使用複製,在相同類型的儲存貯體之間複製物件 (例如從一個目錄儲存貯體複製到另一個目錄儲存貯體)。您也可以在一般用途儲存貯體和目錄儲存貯體之間進行複製。使用叫用 AWS Lambda 函數,您可以使用 Lambda 函數,透過您定義的程式碼對目錄儲存貯體中的物件執行動作。

複製物件

您可以在相同的儲存貯體類型之間,或目錄儲存貯體與一般用途儲存貯體之間進行複製。當您複製到目錄儲存貯體時,必須針對此儲存貯體類型使用正確的 Amazon Resource Name (ARN) 格式。目錄儲存貯體的 ARN 格式為 arn:aws:s3express:region:account-id:bucket/bucket-base-name--x-s3

注意

當來源或目的地儲存貯體位於 AWS 本機區域時, AWS 區域 不支援跨不同 複製物件。來源儲存貯體和目的地儲存貯體必須具有相同的父 AWS 區域。來源儲存貯體和目的地儲存貯體可以是不同的儲存貯體位置類型 (可用區域或本機區域)。

您也可以使用 S3 主控台中的匯入動作,將資料填入目錄儲存貯體。匯入是用來建立 Batch Operations 任務的簡化方法,可將物件從一般用途儲存貯體複製到目錄儲存貯體。針對從一般用途儲存貯體到目錄儲存貯體的匯入複製任務,S3 會自動產生清單檔案。如需詳細資訊,請參閱將物件匯入目錄儲存貯體指定資訊清單

調用 Lambda 函數 (LambdaInvoke)

使用 Batch Operations 調用對目錄儲存貯體執行動作的 Lambda 函數時,須遵循特殊需求。例如,您必須使用 v2 JSON 調用結構描述來建構 Lambda 請求,並在建立作業時指定 InvocationSchemaVersion 2.0。如需詳細資訊,請參閱調用 AWS Lambda 函數

主要差異

以下列出使用 Batch Operations 對儲存在具有 S3 Express One Zone 儲存類別之目錄儲存貯體中的物件執行大量操作時的主要差異:

  • 對於目錄儲存貯體,支援使用 AWS Key Management Service (AWS KMS) 金鑰 (SSE-KMS) 的 SSE-S3 和伺服器端加密。如果您提出 CopyObject 請求,指定在目錄儲存貯體 (來源或目的地) 上使用客戶提供的金鑰的伺服器端加密 (SSE-C),回應會傳回 HTTP 400 (Bad Request) 錯誤。

    建議儲存貯體的預設加密使用所需的加密組態,而且您不會覆寫 CreateSession 請求或 PUT 物件請求中的儲存貯體預設加密。然後,新的物件會以所需的加密設定自動加密。如需目錄儲存貯體中加密覆寫行為,以及如何使用 SSE-KMS 加密目錄儲存貯體中的新物件複本的詳細資訊,請參閱使用 指定伺服器端加密 AWS KMS 以進行新物件上傳

    當您透過 Batch Operations 中的 Copy 操作,將 SSE-KMS 加密物件從一般用途儲存貯體複製到目錄儲存貯體、從目錄儲存貯體複製到一般用途儲存貯體或在目錄儲存貯體之間複製時,不支援 S3 儲存貯體金鑰。在此情況下,Amazon S3 AWS KMS 會在每次對 KMS 加密物件提出複製請求時呼叫 。如需在目錄儲存貯體上使用 SSE-KMS 的詳細資訊,請參閱設定和監控目錄儲存貯體的預設加密在目錄儲存貯體中使用伺服器端加密與 AWS KMS 金鑰 (SSE-KMS)

  • 目錄儲存貯體中的物件無法加上標籤。您只能指定空的標籤集。根據預設,Batch Operations 會複製標籤。如果您在一般用途儲存貯體與目錄儲存貯體之間複製具有標籤的物件,您會收到 501 (Not Implemented) 回應。

  • S3 Express One Zone 可讓您選擇在上傳或下載期間用於驗證資料的檢查總和演算法。您可以選擇以下 Secure Hash 演算法 (SHA) 或循環宂餘檢查 (CRC) 資料完整性演算法之一:CRC32、CRC32C、SHA-1 和 SHA-256。S3 Express One Zone 儲存類別不支援 MD5 型檢查總和。

  • 根據預設,所有 Amazon S3 儲存貯體都會將 S3 物件擁有權設定為儲存貯體擁有者強制執行,並停用存取控制清單 (ACL)。目錄儲存貯體的此設定無法修改。您也可以將物件從一般用途儲存貯體複製到目錄儲存貯體。不過,當您在目錄儲存貯體上來回複製時,無法覆寫預設 ACL。

  • 無論您如何指定清單檔案,此清單本身都必須儲存在一般用途儲存貯體中。Batch Operations 無法從目錄儲存貯體匯入現有的資訊清單,也無法將產生的資訊清單儲存至目錄儲存貯體。不過,清單檔案內描述的物件可以儲存在目錄儲存貯體中。

  • Batch Operations 無法指定目錄儲存貯體作為 S3 庫存報告中的位置。庫存報告不支援目錄儲存貯體。您可以透過使用 ListObjectsV2 API 操作列出物件,來為目錄儲存貯體內的物件建立資訊清單。然後,您可以將清單插入 CSV 檔案。

授與 存取權

若要執行複製任務,您必須具有下列許可:

  • 若要在目錄儲存貯體之間複製物件,您必須具有 s3express:CreateSession 許可。

  • 若要將物件從目錄儲存貯體複製到一般用途儲存貯體,您必須具有 s3express:CreateSession 許可和 s3:PutObject 許可,以將複製的物件寫入目的地儲存貯體。

  • 若要將物件從一般用途儲存貯體複製到目錄儲存貯體,您必須具有 s3express:CreateSession 許可和 s3:GetObject 許可,以讀取要複製的來源物件。

    如需詳細資訊,請參閱 Amazon Simple Storage Service API 參考中的 CopyObject

  • 若要調用 Lambda 函數,您必須根據 Lambda 函數為資源授予許可。若要判斷需要哪些許可,請查看對應的 API 操作。