データコンシューマー

データコンシューマーは、一元化されたカタログがデータプロデューサーを使用して共有した後、データプロデューサーからデータを消費します AWS Lake Formation。次の図は、データレイク内の 2 つのデータコンシューマーを示しています。

データコンシューマーには、アプリケーションとデータ供給の 2 種類があります。次の表に、これら 2 つのタイプを示します。

アプリケーションタイプ

アプリケーションデータコンシューマーは、独自のアプリケーションを実行します AWS アカウント。アプリケーションは AWS Identity and Access Management (IAM) ロールを使用してデータプロデューサーから共有データにアクセスし、ロジックに従って処理します。 通常、このタイプのデータコンシューマーには、アプリケーションのニーズを満たすための規範的なデータ要件があります。

データ提供タイプ

データ処理データコンシューマーは通常、個人 (データアナリストやデータサイエンティストなど) と、独自のものを持たないアプリケーション (ビジネスインテリジェンスアプリケーションなど) を対象としています AWS アカウント。 複数のデータ供給データコンシューマーを 1 つの組織のデータレイクに存在できます。たとえば、さまざまな事業部門が、ユーザーがデータレイクからデータを使用できるように、独自のデータ供給データコンシューマーを設定することを選択する場合があります。これらのデータコンシューマーには、 AWS サービス AWS アカウント （Amazon Athena などAWS IAM Identity Center) を介して共有データにアクセスするためにデータコンシューマーアカウントのエンドユーザーが使用する独自の IAM ロールプリンシパル ( に関連付けられた IAM ロールなど) が設定されています。 通常、このタイプのデータコンシューマーには幅広いデータ要件があり、継続的に増加しています。

AWS Lake Formation は、クロスアカウントデータ共有と集中型カタログへのアクセスのためにデータコンシューマーが使用する最も重要な AWS サービスです。データベースが一元化されたカタログによって共有されると、共有リソースはデータコンシューマーアカウントの Lake Formation で使用できます。その後、必要に応じて、データプロデューサーからのアクセス許可を使用して、データコンシューマーアカウントのローカル IAM プリンシパルにデータアクセスを許可できます。その後、共有データは Lake Formation と統合された AWS サービス (Amazon Athena や など) で使用できます AWS Glue。次の AWS サービスを使用して、データコンシューマーアカウントの共有データにアクセスできます。

• Amazon Athena は、標準 SQL を使用して Amazon Simple Storage Service (Amazon S3) 内のデータを直接分析するのに役立つインタラクティブなクエリサービスです。Athena と Lake Formation の詳細については、Amazon Athena Athena ドキュメントの「Athena が Lake Formation に登録されたデータにアクセスする方法」を参照してください。

• Amazon Redshift Spectrum を使用すると、データを Amazon S3 のファイルから構造化データと半構造化データを効率的にクエリおよび取得できます。Redshift Spectrum と Lake Formation の詳細については、Amazon Redshift ドキュメントの「Lake Formation での Redshift Spectrum の使用」を参照してください。

• AWS Glue は、完全マネージド型の抽出、変換、ロード (ETL) サービスであり、データを分類し、クリーンアップし、強化し、さまざまなデータストアとデータストリーム間で確実に移動するシンプルで費用対効果の高いサービスです。 AWS Glue ETL ジョブに関連付けられた IAM ロールは、必要なアクセス許可がある場合、Lake Formation によって管理されるデータレイクデータにアクセスできます。

• Amazon EMR は、ビッグデータフレームワーク (Apache Hadoop や Apache Spark など) を実行して、大量のデータを処理および分析するのに役立ちます。Amazon EMR と Lake Formation の詳細については、Amazon EMR ドキュメントの「Amazon EMR と Lake Formation の統合」を参照してください。

• Amazon QuickSight は、スケーラブルでサーバーレス、埋め込み可能、機械学習 (ML) を活用したビジネスインテリジェンスサービスで、データレイクからのデータを分析および視覚化するために使用できます。QuickSight と Lake Formation の詳細については、QuickSight ドキュメントの「Lake Formation を介した接続の承認」を参照してください。

• Amazon SageMaker AI Data Wrangler (Data Wrangler) は、ML のデータの集約と準備にかかる時間を短縮します。Data Wrangler と Lake Formation の詳細については、Amazon SageMaker AI ドキュメントの「Amazon SageMaker AI Data Wrangler で ML データを準備するAmazon SageMaker 」を参照してください。