AWS データメッシュ用の 製品

の分析 AWS機能を使用して、組織のデータメッシュベースのデータソリューションを構築します。 AWS リソースの分析では、パフォーマンスを損なうことなく低コストでデータメッシュを構築 AWS のサービス するために、複数の を推奨しています。お客様は、データメッシュベースのソリューションを構築するために次のオプションを採用しています。

• Amazon を使用してデータメッシュを実装する DataZone

• data.all AWS などの でオープンソースフレームワークを使用してデータメッシュを実装する

• を使用してデータメッシュを実装する AWS Lake Formation

これらの 3 つのオプションでは、以下を使用します AWS のサービス。

• Amazon Athena

• Amazon Bedrock

• Amazon EMR

• AWS Glue ( AWS Glue Data Catalog および AWS Glue クローラを含む）

• AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Amazon Kinesis

• AWS Lake Formation

• Amazon Managed Streaming for Apache Kafka (Amazon MSK）

• Amazon QuickSight

• Amazon Redshift

• AWS Resource Access Manager (AWS RAM)

• Amazon SageMaker AI

• AWS Secrets Manager

• Amazon Simple Storage Service (Amazon S3)

Amazon DataZone オプションは Amazon EventBridgeも使用します。

data.all および AWS Lake Formation オプションでは、次の AWS のサービス および リソースも使用されます。

• Amazon API Gateway

• AWS CloudFormation

• Amazon Cognito

• AWS Lambda

• AWS Systems Manager パラメータストア

• AWS WAF

実装 AWS のサービス で使用する は、組織の要件によって異なる場合があります。

Amazon DataZone

フルマネージドサービスを使用する場合は、Amazon を使用して組織のデータメッシュ DataZone を実装することを検討してください。Amazon DataZone は、 、オンプレミス、およびサードパーティーのソースに保存されたデータのカタログ化、検出 AWS、共有、管理を行うためのデータ管理サービスです。次の図は、Amazon に基づくデータメッシュリファレンスアーキテクチャを示しています DataZone。

リファレンスアーキテクチャでは、メンバーアカウントはデータドメインに属します。これらは、データプロデューサーとデータコンシューマーにグループ化されます。アーキテクチャ図には、次のコンポーネントが含まれています。

1. データプロデューサーは、Amazon データポータルが提供するビジネスカタログで DataZone データ製品を公開します。データポータルは中央ガバナンスアカウントでホストされます。

2. データコンシューマー (ユーザー) は、認証情報またはシングルサインオン認証情報を使用してデータポータルにログインします AWS 。キーワードを使用してカタログを参照し、目的のデータ製品を検索できます。検索結果をフィルタリングできます。

3. コンシューマーチームに属するデータユーザーが関心のあるデータ製品を見つけたら、データへのアクセスをリクエストできます。Amazon DataZone には、データ所有者がリクエストの確認と承認に使用するアクセス管理ワークフローが組み込まれています。

4. データコンシューマーチームは、データを使用して、人工知能と機械学習 (AI/ML)、分析とレポート、抽出、変換、ロード (ETL) のユースケースを強化できます。

Data.all

オープンソースを理解し、独自のソリューションを構築および管理したい場合は、data.all などのオープンソースフレームワークの使用を検討してください。Data.all は、さまざまなユーザー間のコラボレーションをサポートする最新のデータマーケットプレイスです。Data.all は、データ検出、共有、きめ細かなデータアクセス管理を簡素化し、ビルダーはデータと分析サービスの AWS ポートフォリオを使用します。次の図は、data.all に基づくデータメッシュリファレンスアーキテクチャを示しています。

アーキテクチャ図には、次のコンポーネントが含まれています。

1. データプロデューサーは、data.all フロントエンドによって提供されるカタログにデータ製品を公開します。data.all のフロントエンドとバックエンドは、中央ガバナンスアカウントでホストされます。

2. データコンシューマー (ユーザー) は、シングルサインオンまたは Amazon Cognito 認証情報を使用して data.all フロントエンドにログインします。カタログを参照し、目的のデータ製品を検索できます。検索結果をフィルタリングできます。

3. コンシューマーチームに属するデータユーザーが関心のあるデータ製品を見つけたら、データへのアクセスをリクエストできます。Data.all には、データ所有者がアクセスリクエストを確認および承認するために使用する、組み込みのアクセス管理ワークフローがあります。

4. コンシューマーチームはデータを使用して、AI/ML、分析とレポート、ETLユースケースを強化できます。

AWS Lake Formation

カスタムデータメッシュソリューションをゼロから構築して管理する場合は、 の使用を検討してください AWS Lake Formation。Lake Formation は、分析と機械学習のためにデータを一元管理、保護、およびグローバルに共有するのに役立ちます。次の図は、Lake Formation に基づくデータメッシュリファレンスアーキテクチャを示しています。

アーキテクチャ図には、次のコンポーネントが含まれています。

1. データプロデューサーは、 AWS Glue Data Catalog 中央ガバナンスアカウントの でデータ製品を公開します。 は、中央データカタログのエンティティへのアクセス AWS Lake Formation を管理します。

2. アクセスが許可されると、コンシューマーチームはデータを消費して AI/ML、分析とレポート、ETLユースケースを強化できます。