對 AWS Glue 寫入的資料加密 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

對 AWS Glue 寫入的資料加密

安全組態是一組安全屬性,AWS Glue 會使用這組屬性。您可以使用安全組態來加密靜態資料。以下案例說明您可以使用安全組態的一些方式。

  • 將安全組態附加到AWS Glue爬蟲以寫入加密的 Amazon CloudWatch 日誌。如需有關將安全性組態附加至編目器的詳細資訊,請參閱步驟 3:設定安全設定

  • 將安全組態附加到擷取、轉換和載入 (ETL) 任務,以寫入加密的 Amazon Simple Storage Service (Amazon S3) 目標和加密 CloudWatch 日誌。

  • 將安全組態附加到 ETL 任務來將其任務書籤寫入做為加密的 Amazon S3 資料。

  • 將安全組態附加至開發端點來寫入加密的 Amazon S3 目標。

重要

目前,安全組態會覆寫任何伺服器端加密 (SSE-S3) 設定,此設定會以 ETL 任務參數的形式進行傳遞。因此,此兩個安全組態和 SSE-S3 參數會與任務相關聯,且 SSE-S3 參數會遭到忽略。

如需有關安全組態的詳細資訊,請參閱在 AWS Glue 主控台上使用安全組態

設定 AWS Glue 來使用安全組態

遵循這些步驟來設定 AWS Glue 環境,即可使用安全組態。

  1. 建立或更新您的 AWS Key Management Service (AWS KMS) 金鑰,將AWS KMS權限授與傳遞給AWS Glue檢索器和工作以加密 CloudWatch 記錄的 IAM 角色。如需詳細資訊,請參閱 Amazon CloudWatch 日誌使用者指南中的使用加密 CloudWatch 日誌AWS KMS中的日誌資料

    在下列範例中, "role1""role2""role3" 為 IAM 角色,這些角色會傳送到爬蟲程式和任務。

    { "Effect": "Allow", "Principal": { "Service": "logs.region.amazonaws.com", "AWS": [ "role1", "role2", "role3" ] }, "Action": [ "kms:Encrypt*", "kms:Decrypt*", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:Describe*" ], "Resource": "*" }

    如果您使用金鑰加密 CloudWatch 記錄檔"Service": "logs.region.amazonaws.com",則需要顯示為Service陳述式。

  2. 在使用 AWS KMS 金鑰前,確保此金鑰就是 ENABLED

注意

若您使用 Iceberg 作為資料湖架構,Iceberg 資料表會透過其專屬機制啟用伺服器端加密。除了 AWS Glue 的安全組態之外,您還應啟用這些組態。若要在 Iceberg 資料表上啟用伺服器端加密,請檢閱 Iceberg 文件中的指引。

建立路由至 AWS KMS 供 VPC 任務和爬蟲程式使用

您可以透過在 Virtual Private Cloud (VPC) 內的私有端點直接連接至 AWS KMS,而無需連接至網際網路。使用 VPC 端點時,VPC 和 AWS KMS 之間的通訊會在整個 AWS 網路中執行。

您可以在 VPC 中建立 AWS KMS VPC 端點。少了這個步驟,任務和爬蟲程式可能會失敗,而在任務上出現 kms timeout 或在爬蟲程式上出現 internal service exception。如需詳細說明,請參閱 AWS Key Management Service 開發人員指南透過 VPC 端點連接到 AWS KMS

當您在 VPC 主控台上遵循這些指示時,您必須執行以下:

  • 選取 Enable Private DNS name (啟用私人 DNS 名稱)

  • 選擇用於存取 Java Database Connectivity (JDBC) 的任務或爬蟲程式的 Security group (安全群組) (含自我參考規則)。如需有關 AWS Glue 連線的詳細資訊,請參閱 連線至資料

當您新增安全組態到存取 JDBC 資料存放區的爬蟲程式或任務時,AWS Glue 必須有連接 AWS KMS 端點的路由。您可以透過網路位址轉譯 (NAT) 閘道或 AWS KMS VPC 端點提供路由。若要建立 NAT 閘道,請參閱 Amazon VPC 使用者指南中的 NAT 閘道