使用 AWS CloudFormation 範本自動化 AWS Glue 中的加密強制執行 AWS CloudFormation

PDF

由 Diogo Guedes (AWS) 建立

Summary

此模式說明如何使用 AWS CloudFormation 範本在 AWS Glue 中設定和自動化加密強制執行。 AWS CloudFormation 範本會建立強制執行加密所需的所有必要組態和資源。這些資源包括初始組態、Amazon EventBridge 規則建立的預防性控制，以及 AWS Lambda 函數。

先決條件和限制

先決條件

• 作用中的 AWS 帳戶

• 部署 CloudFormation 範本及其資源的許可

限制

此安全控制是區域性的。您必須在每個要在 AWS Glue 中設定加密強制執行的 AWS 區域中部署安全控制。

架構

目標技術堆疊

• Amazon CloudWatch Logs （來自 AWS Lambda)

• Amazon EventBridge 規則

• AWS CloudFormation 堆疊

• AWS CloudTrail

• AWS Identity and Access Management (IAM) 受管角色和政策

• AWS Key Management Service (AWS KMS)

• AWS KMS 別名

• AWS Lambda 功能

• AWS Systems Manager 參數存放區

目標架構

下圖顯示如何在 AWS Glue 中自動化加密強制執行。

該圖顯示以下工作流程：

1. CloudFormation 範本會建立所有資源，包括 AWS Glue 中加密強制執行的初始組態和偵測控制。

2. EventBridge 規則會偵測加密組態中的狀態變更。

3. 透過 CloudWatch Logs 叫用 Lambda 函數進行評估和記錄。對於不合規偵測，參數存放區會使用 AWS KMS 金鑰的 Amazon Resource Name (ARN) 復原。服務會修復為啟用加密的合規狀態。

自動化和擴展

如果您使用的是 AWS Organizations，則可以使用 AWS CloudFormation StackSets，將此範本部署在多個帳戶中，而您想要在 AWS Glue 中啟用加密強制執行。

工具

• Amazon CloudWatch 可協助您即時監控 AWS 資源的指標，以及您在 AWS 上執行的應用程式。

• Amazon EventBridge 是一種無伺服器事件匯流排服務，可協助您將應用程式與各種來源的即時資料連線。例如，Lambda 函數、使用 API 目的地的 HTTP 呼叫端點，或其他 AWS 帳戶中的事件匯流排。

• AWS CloudFormation 可協助您設定 AWS 資源、快速且一致地佈建資源，並在其整個生命週期中跨 AWS 帳戶和區域進行管理。

• AWS CloudTrail 可協助您啟用 AWS 帳戶的營運和風險稽核、控管和合規。

• AWS Glue 是全受管擷取、轉換和載入 (ETL) 服務。它可協助您在資料存放區和資料串流之間可靠地分類、清理、擴充和移動資料。

• AWS Key Management Service (AWS KMS) 可協助您建立和控制密碼編譯金鑰，以協助保護您的資料。

• AWS Lambda 是一種運算服務，可協助您執行程式碼，而不需要佈建或管理伺服器。它只會在需要時執行程式碼並自動擴展，因此您只需支付您使用的運算時間。

• AWS Systems Manager 可協助您管理在 AWS 雲端中執行的應用程式和基礎設施。它可簡化應用程式和資源管理、縮短偵測和解決操作問題的時間，並協助您大規模安全地管理 AWS 資源。

Code

此模式的程式碼可在 GitHub aws-custom-guardrail-event-driven 儲存庫中使用。

最佳實務

AWS Glue 支援靜態資料加密，用於在 AWS Glue 中編寫任務，並使用開發端點開發指令碼。

請考慮下列最佳實務：

• 將 ETL 任務和開發端點設定為使用 AWS KMS 金鑰來寫入靜態加密的資料。

• 使用您透過 AWS KMS 管理的金鑰，加密存放在 AWS Glue Data Catalog 中的中繼資料。

• 使用 AWS KMS 金鑰來加密任務書籤，以及爬蟲程式和 ETL 任務所產生的日誌。

史詩

啟動 CloudFormation 範本

任務	描述	所需的技能
部署 CloudFormation 範本。	從 GitHub 儲存庫下載aws-custom-guardrail-event-driven.yaml範本，然後部署範本。CREATE_COMPLETE 狀態表示您的範本已成功部署。 注意 範本不需要輸入參數。	雲端架構師

啟動 CloudFormation 範本

任務	描述	所需的技能
部署 CloudFormation 範本。	從 GitHub 儲存庫下載aws-custom-guardrail-event-driven.yaml範本，然後部署範本。CREATE_COMPLETE 狀態表示您的範本已成功部署。 注意 範本不需要輸入參數。	雲端架構師

驗證 AWS Glue 中的加密設定

任務	描述	所需的技能
檢查 AWS KMS 金鑰組態。	登入 AWS 管理主控台，然後開啟 AWS Glue 主控台。 在導覽窗格中的資料目錄下，選擇目錄設定。 確認中繼資料加密和加密連線密碼設定已標記並設定為使用 KMSKeyGlue。	雲端架構師

驗證 AWS Glue 中的加密設定

任務	描述	所需的技能
檢查 AWS KMS 金鑰組態。	登入 AWS 管理主控台，然後開啟 AWS Glue 主控台。 在導覽窗格中的資料目錄下，選擇目錄設定。 確認中繼資料加密和加密連線密碼設定已標記並設定為使用 KMSKeyGlue。	雲端架構師

測試加密強制執行

任務	描述	所需的技能
識別 CloudFormation 中的加密設定。	登入 AWS 管理主控台，然後開啟 CloudFormation 主控台。 在導覽窗格中，選擇堆疊，然後選擇您的堆疊。 選擇 Resources (資源) 標籤。 在資源資料表中，依邏輯 ID 尋找加密設定。	雲端架構師
將佈建的基礎設施切換為不合規狀態。	登入 AWS 管理主控台，然後開啟 AWS Glue 主控台。 在導覽窗格中的資料目錄下，選擇目錄設定。 清除中繼資料加密核取方塊。 清除加密連線密碼核取方塊。 選擇 Save (儲存)。 重新整理 AWS Glue 主控台。 在您清除核取方塊後，護欄會偵測 AWS Glue 中的不合規狀態，然後透過自動修復加密設定錯誤來強制執行合規。因此，在您重新整理頁面之後，應該再次選取加密核取方塊。	雲端架構師

測試加密強制執行

任務	描述	所需的技能
識別 CloudFormation 中的加密設定。	登入 AWS 管理主控台，然後開啟 CloudFormation 主控台。 在導覽窗格中，選擇堆疊，然後選擇您的堆疊。 選擇 Resources (資源) 標籤。 在資源資料表中，依邏輯 ID 尋找加密設定。	雲端架構師
將佈建的基礎設施切換為不合規狀態。	登入 AWS 管理主控台，然後開啟 AWS Glue 主控台。 在導覽窗格中的資料目錄下，選擇目錄設定。 清除中繼資料加密核取方塊。 清除加密連線密碼核取方塊。 選擇 Save (儲存)。 重新整理 AWS Glue 主控台。 在您清除核取方塊後，護欄會偵測 AWS Glue 中的不合規狀態，然後透過自動修復加密設定錯誤來強制執行合規。因此，在您重新整理頁面之後，應該再次選取加密核取方塊。	雲端架構師

相關資源

• 在 AWS CloudFormation 主控台上建立堆疊 (AWS CloudFormation 文件）

• 使用 AWS CloudTrail 建立在 AWS API 呼叫上觸發的 CloudWatch Events 規則 (Amazon CloudWatch 文件）

• 在 AWS Glue 中設定加密 (AWS Glue 文件）