自動化和存取控制

 自動化

管道自動化是現代以資料為中心的架構設計的重要部分。若要成功執行您的生產系統，建議您擁有具有啟動觸發、連線步驟的資料管道，以及用於分隔失敗和傳遞階段的機制。記錄失敗同時不阻礙 ETL 程序的其餘部分也很重要。

您可以使用 AWS Glue 工作流程來建立管道。管道支援所有 AWS Glue 任務、Amazon EventBridge 觸發條件和爬蟲程式。您也可以從頭或使用 AWS Glue 藍圖建立工作流程。藍圖提供的架構可協助您開始使用可重複使用的使用案例。例如，這可能是將資料從 Amazon S3 匯入 DynamoDB 資料表的工作流程。您甚至可以使用參數讓藍圖可重複使用。

如果資料管道涉及 AWS Glue 以外的更多服務，建議您使用 AWS Step Functions 做為協調器。Step Functions 可以建立自動化工作流程，包括安全事件回應的手動核准步驟。您也可以使用 Step Functions 進行大規模平行或循序處理。

最後，我們建議您使用 EventBridge 在排程、事件或隨需時插入觸發條件。您也可以使用 EventBridge 建立具有篩選條件的管道。

存取控制

我們建議您使用 AWS Identity and Access Management (IAM) 進行存取控制。IAM 可讓您指定誰或什麼可以存取 AWS 中的服務和資源，並集中管理精細的許可。從儲存到自動化，再到使用處理工具，生命週期的每個階段都需要適當的存取許可。使用以資料為中心的使用案例時，您可以使用 AWS Lake Formation 簡化資料可用於廣泛分析以及跨帳戶的程序。