確保啟動時為 Amazon EMR 靜態資料啟用加密 - AWS Prescriptive Guidance

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

確保啟動時為 Amazon EMR 靜態資料啟用加密

由喬德瑞 (AWS) 創建

Envenment Envents 生產

技術:安全、身份、合規;分析

工作負載:開放原始碼

AWS 服務:亞馬遜 EMR; Amazon SNS; AWS KMS; AWS CloudFormation; AWS Lambda; Amazon S3

Summary

此模式提供安全控制,用於監控 Amazon Web 服務 (AWS) 上的 Amazon EMR 叢集加密。

資料加密有助於防止未經授權的使用者讀取叢集上的資料和相關的資料儲存體系統。這包括透過網路傳送時可能會被攔截的資料 (稱為傳輸中資料),以及儲存到持久性媒體的資料 (稱為靜態資料)。Amazon Simple Storage Service (Amazon S3) 中靜態資料可透過兩種方式進行加密。

  • 使用 Amazon S3 受管金鑰 (SSE-S3) 的伺服器端加密

  • 使用 AWS Key Management Service (AWS Key Management Service Service 金鑰 (SSE-AWS KMS ey Management Service 金鑰 (SSE-Key Management Service 金鑰 (SSE-Key Management Service 金鑰 (SSEMR-Key Management Service 金鑰

此安全控制會監控 API 呼叫,並在RunJobFlow。觸發程序會叫用 AWS Lambda (執行 Python 指令碼)。此函數會從事件 JSON 輸入擷取 EMR 叢集識別碼,並透過執行下列檢查判斷是否存在安全性違規。

  1. 檢查 EMR 叢集是否與 Amazon EMR 特定的安全配置相關聯。

  2. 如果 Amazon EMR 特定安全配置與 EMR 叢集相關聯,請檢查是否已開啟靜態加密。

  3. 如果未開啟靜態加密,請傳送 Amazon Simple Notification Service (Amazon SNS) 通知,其中包括 EMR 叢集名稱、違規詳細資料、AWS 區域、AWS 帳戶以及此通知源自的 Lambda Amazon 資源名稱 (ARN)。

先決條件和限制

先決條件

  • 作用中的 AWS 帳戶

  • Lambda 程式碼 .zip 檔案的 S3 儲存貯體

  • 您想要收到違規通知的電子郵件地址

  • 關閉亞馬遜 EMR 日誌記錄,以便可以檢索所有 API 日誌

限制

  • 此偵測控制是區域性的,必須部署在您要監控的 AWS 區域中。

產品版本

  • Amazon EMR 4.8.0 版及更新

Architecture

目標技術堆疊

  • Amazon EMR

  • Amazon CloudWatch Events 事件

  • Lambda 功能

  • Amazon SNS

目標架構

自動化和擴充

Tools

工具

  • AWS CloudFormation— AWS CloudFormation 是一項服務,可協助您利用基礎設施做為程式碼來塑造模型及設定 AWS 資源。

  • Amazon CloudWatch Events— Amazon CloudWatch Events 會將近乎即時的系統事件串流,傳送到 AWS 資源中的變更。

  • Amazon EMR— Amazon EMR 是一個受管叢集平台,可簡化執行巨量資料架構。

  • AWS Lambda— AWS Lambda 支援執行程式碼,無需佈建或管理伺服器。

  • Amazon S3— Amazon S3 是可高度擴展的物件儲存服務,可用於各種儲存解決方案,包括網站、行動應用程式、備份和資料湖。

  • Amazon SNS— Amazon SNS 協調和管理發佈者和用戶端之間的訊息交付或傳送,包括 Web 伺服器和電子郵件地址。訂閱者會收到發佈到所訂閱主題的所有訊息,且某一主題的所有訂閱者均會收到相同訊息。

Code

  • 此專案的 EMREncryptionAtRest.zip 和編碼加密 .yml 檔案可作為附件使用。

Epics

任務描述所需技能
定義 S3 儲存貯體。

在 Amazon S3 主控台上,選擇或建立具有不包含前導斜線的唯一名稱的 S3 儲存貯體。S3 儲存貯體的名稱必須是全域唯一,且命名空間會由所有 AWS 帳戶共享。您的 S3 儲存貯體必須位於和評估中 Amazon EMR 叢集相同的區域。

雲端架構師
任務描述所需技能
將 Lambda 程式碼上傳至 S3 儲存貯體。

將「附件」一節中所提供的 Lambda 程式碼 .zip 檔案上傳至已定義的 S3 儲存貯體。

雲端架構師
任務描述所需技能
部署 AWS CloudFormation 範本。

在 AWS CloudFormation 主控台的同一個區域中,部署作為此模式附件提供的 AWS CloudFormation 範本。在下一個史詩中,提供參數的值。如需部署 AWS CloudFormation 範本的詳細資訊,請參閱 < 相關資源 > 一節。

雲端架構師
任務描述所需技能
命名 S3 儲存貯體。

輸入您在第一部史詩般中建立的 S3 儲存貯體名稱。

雲端架構師
提供 Amazon S3 金鑰。

在 S3 儲存貯體中提供 Lambda 程式碼 .zip 檔案的位置,不含前導斜線 (例如 <directory>/<file-name> .zip)。

雲端架構師
請輸入電子郵件地址。

提供有效的電子郵件地址以接收 Amazon SNS 通知。

雲端架構師
定義記錄層級。

定義 Lambda 函數的記錄層級和頻率。「資訊」指定有關應用程式進度的詳細資訊訊息。「錯誤」指定仍可允許應用程式繼續執行的錯誤事件。「警告」指定潛在有害的狀況。

雲端架構師
任務描述所需技能
確認訂閱。

成功部署範本後,會將訂閱電子郵件訊息傳送至提供的電子郵件地址。您必須確認此電子郵件訂閱才能接收違規通知。

雲端架構師

相關資源

Attachments

attachment.zip