リファレンスアーキテクチャ

次の図は、 でデータレイクを成長およびスケーリングするためのこのガイドのリファレンスアーキテクチャを示しています AWS クラウド。

この図は、次のコンポーネントを示しています。

1. 異なる のデータプロデューサーレイヤー AWS アカウント。

2. 異なる のデータコンシューマーレイヤー AWS アカウント。

3. 内の一元化されたカタログ AWS アカウント。

4. 各事業部門には 1 つのデータプロデューサーと 1 つのデータコンシューマーしかありませんが、ガイドのリファレンスアーキテクチャは、事業部門ごとに複数のデータプロデューサーとデータコンシューマーをサポートしています。一般的に、1 つのデータプロデューサーに、データ供給タイプとアプリケーションタイプの両方を含む 1 つ以上のデータコンシューマーをオンボードします。詳細については、このガイドの リファレンスアーキテクチャコンポーネント セクションを参照してください。

5. 一元化されたカタログは、データプロデューサーとデータコンシューマーがデータを共有および消費するために使用するインターフェイスです。

リファレンスアーキテクチャのアプローチにより、データの共有と消費を標準化し、管理オーバーヘッドを増やすことなく、データプロデューサーとデータコンシューマーを個別にスケーリングできます。リファレンスアーキテクチャは、さまざまなデータプロデューサー間でのデータ生成と分散も可能にします。すべてのデータプロデューサーは、データレイクの一部となり、データを共有して、データレイクが提供する全体的な価値に貢献できます。

このアプローチにより、組織は、データ収集と処理を単一のパイプラインで制約することでボトルネックを引き起こすことなく、基幹業務および外部データ所有者全体でデータ価値を収集できます。