AWS データメッシュの サービス

の分析 AWS機能を使用して、組織のデータメッシュベースのデータソリューションを構築します。 AWS リソースの分析では、パフォーマンスを損なうことなく低コストでデータメッシュを構築 AWS のサービス するために複数の を推奨しています。お客様は、データメッシュベースのソリューションを構築するために次のオプションを採用しています。

• Amazon DataZone を使用してデータメッシュを実装する

• data.all AWS などのオープンソースフレームワークを使用してデータメッシュを実装する

• を使用してデータメッシュを実装する AWS Lake Formation

これらの 3 つのオプションでは、以下を使用します AWS のサービス。

• Amazon Athena

• Amazon Bedrock

• Amazon EMR

• AWS Glue ( AWS Glue Data Catalog および AWS Glue クローラを含む)

• AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Amazon Kinesis

• AWS Lake Formation

• Amazon Managed Streaming for Apache Kafka (Amazon MSK)

• Amazon Quick Suite

• Amazon Redshift

• AWS Resource Access Manager (AWS RAM)

• Amazon SageMaker AI

• AWS Secrets Manager

• Amazon Simple Storage Service (Amazon S3)

Amazon DataZone オプションは Amazon EventBridge も使用します。

data.all および AWS Lake Formation オプションでは、次の AWS のサービス および リソースも使用します。

• Amazon API Gateway

• AWS CloudFormation

• Amazon Cognito

• AWS Lambda

• AWS Systems Manager パラメータストア

• AWS WAF

実装 AWS のサービス で使用する は、組織の要件によって異なる場合があります。

Amazon DataZone

フルマネージドサービスを使用する場合は、Amazon DataZone を使用して組織のデータメッシュを実装することを検討してください。Amazon DataZone は、、オンプレミス、およびサードパーティーのソースに保存されたデータをカタログ化、検出 AWS、共有、管理するためのデータ管理サービスです。次の図は、Amazon DataZone に基づくデータメッシュリファレンスアーキテクチャを示しています。

リファレンスアーキテクチャでは、メンバーアカウントはデータドメインに属します。データプロデューサーとデータコンシューマーにグループ化されます。アーキテクチャ図には、次のコンポーネントが含まれています。

1. データプロデューサーは、Amazon DataZone データポータルが提供するビジネスカタログにデータ製品を公開します。データポータルは中央ガバナンスアカウントでホストされます。

2. データコンシューマー (ユーザー) は、認証情報またはシングルサインオン認証情報を使用してデータポータルにログインします AWS 。カタログを参照し、キーワードを使用して目的のデータ製品を検索できます。検索結果をフィルタリングできます。

3. コンシューマーチームに属するデータユーザーが関心のあるデータ製品を見つけたら、データへのアクセスをリクエストできます。Amazon DataZone には、データ所有者がリクエストのレビューと承認に使用するアクセス管理ワークフローが組み込まれています。

4. データコンシューマーチームは、データを使用して、人工知能と機械学習 (AI/ML)、分析とレポート、抽出、変換、ロード (ETL) のユースケースを強化できます。

Data.all

オープンソースを理解し、独自のソリューションを構築および管理する場合は、data.all などのオープンソースフレームワークの使用を検討してください。Data.all は、多様なユーザー間のコラボレーションをサポートする最新のデータマーケットプレイスです。Data.all はデータ検出、共有、きめ細かなデータアクセス管理を簡素化し、ビルダーはデータと分析サービスの AWS ポートフォリオを使用します。次の図は、data.all に基づくデータメッシュリファレンスアーキテクチャを示しています。

アーキテクチャ図には、次のコンポーネントが含まれています。

1. データプロデューサーは、data.all フロントエンドによって提供されるカタログにデータ製品を公開します。data.all のフロントエンドとバックエンドは、中央ガバナンスアカウントでホストされます。

2. データコンシューマー (ユーザー) は、シングルサインオンまたは Amazon Cognito 認証情報を使用して data.all フロントエンドにログインします。カタログを参照し、目的のデータ製品を検索できます。検索結果をフィルタリングできます。

3. コンシューマーチームに属するデータユーザーが関心のあるデータ製品を見つけたら、データへのアクセスをリクエストできます。Data.all には、データ所有者がアクセスリクエストのレビューと承認に使用するアクセス管理ワークフローが組み込まれています。

4. コンシューマーチームはデータを使用して、AI/ML、分析とレポート、ETL ユースケースを強化できます。

AWS Lake Formation

カスタムデータメッシュソリューションをゼロから構築して管理する場合は、 の使用を検討してください AWS Lake Formation。Lake Formation を使用すると、分析と機械学習のためにデータを一元管理、保護、グローバルに共有できます。次の図は、Lake Formation に基づくデータメッシュリファレンスアーキテクチャを示しています。

アーキテクチャ図には、次のコンポーネントが含まれています。

1. データプロデューサーは、 AWS Glue Data Catalog 中央ガバナンスアカウントの にデータ製品を公開します。 は、中央データカタログのエンティティへのアクセス AWS Lake Formation を管理します。

2. アクセスが許可されると、コンシューマーチームはデータを消費して AI/ML、分析とレポート、ETL ユースケースを強化できます。