自動化とアクセスコントロール

Automation

パイプラインの自動化は、最新のデータ中心のアーキテクチャ設計の重要な部分です。本稼働システムを正常に実行するには、開始トリガー、接続ステップ、失敗したステージと渡されたステージを分離するメカニズムを備えたデータパイプラインを用意することをお勧めします。また、残りの ETL プロセスを妨げずに障害をログに記録することも重要です。

AWS Glue ワークフローを使用してパイプラインを作成できます。パイプラインは、すべての AWS Glue ジョブ、Amazon EventBridge トリガー、およびクローラをサポートします。ワークフローを最初から作成することも、AWS Glue ブループリントを使用して作成することもできます。ブループリントは、再利用可能なユースケースの開始に役立つフレームワークを提供します。たとえば、これは Amazon S3 から DynamoDB テーブルにデータをインポートするワークフローである可能性があります。パラメータを使用して、ブループリントを再利用可能にすることもできます。

データパイプラインに AWS Glue 以外のサービスが含まれる場合は、AWS Step Functions をオーケストレーターとして使用することをお勧めします。Step Functions は、セキュリティインシデント対応の手動承認ステップなど、自動化されたワークフローを作成できます。Step Functions は、大規模な並列処理やシーケンシャル処理にも使用できます。

最後に、EventBridge を使用して、スケジュール、イベント、またはオンデマンドでトリガーを挿入することをお勧めします。EventBridge を使用して、フィルターでパイプラインを作成することもできます。

アクセスコントロール

アクセスコントロールには AWS Identity and Access Management (IAM) を使用することをお勧めします。IAM を使用すると、AWS のサービスとリソースにアクセスできるユーザーまたはユーザーを指定し、きめ細かなアクセス許可を一元管理できます。ストレージからオートメーション、処理ツールの使用まで、ライフサイクルのすべての段階で、適切なアクセス許可が必要です。データ中心のユースケースでは、AWS Lake Formation を使用して、幅広い分析やアカウント間でデータを利用できるようにするプロセスを簡素化できます。