データプロデューサー

データプロデューサーは、データアセットの品質のモニタリングと確保に加えて、データドメインからデータを収集、処理、保存します。次の図は、このガイドのリファレンスアーキテクチャのコンポーネントとしてのデータプロデューサーアカウントを示しています。

各データプロデューサーには、内部データ処理で使用される AWS Lake Formation AWS アカウント で管理されるプライベートデータカタログがあります。データプロデューサーは、一元化されたカタログにデータに対する選択的なアクセス許可を提供します。つまり、一元化されたカタログアカウントの Lake Formation は、データプロデューサーが共有したいデータにアクセスできます。

つまり、データプロデューサーはデータコンシューマーと直接やり取りしません。代わりに、データプロデューサーアカウントとそのデータストレージの場所は、データコンシューマーから完全に抽象化および非表示になります。このアプローチは、データコンシューマーの増加を経験するデータプロデューサーの不要なオーバーヘッドを排除することでコストを削減します。

新しいデータの場所が一元化されたカタログによって登録されている場合、データプロデューサーのデータの場所を変更しても、データコンシューマーには影響しません。データプロデューサーが特定のデータの共有を停止する場合は、一元化されたカタログのアクセス許可を削除できます。これにより、データコンシューマーはデータにアクセスできなくなり、各データコンシューマーのアクセスを手動で取り消す必要がなくなります。

パブリックデータカタログとプライベートデータカタログを使用することで、データプロデューサーは、プライベートデータカタログを介して内部データアクセスを個別に管理しながら、データコンシューマーと共有するものを選択できます。

次の表は、データプロデューサーが一元化されたカタログとデータを共有するために使用する 2 つの AWS サービスを示しています。

Amazon Simple Storage Service (Amazon S3)	S3 バケットのバケットポリシーを調整して、一元化されたカタログ内の AWS Identity and Access Management (IAM) ロールへのデータアクセスを提供します。 データプロデューサーは、Amazon S3 を中間データレイヤーとして使用して、他のデータアプリケーションまたはサービスに保存されているデータを共有することもできます。
AWS Key Management Service (AWS KMS)	集中型カタログ内の IAM ロールと、データプロデューサーアカウント内の共有 Amazon S3 データを暗号化する AWS KMS keys ために使用される に、 AWS マネージドキーのアクセス許可を付与します。