Lake Formation 許可へのオンボーディング - AWS Lake Formation

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Lake Formation 許可へのオンボーディング

AWS Lake Formation は AWS Glue Data Catalog （データカタログ) を使用して、Amazon S3 データレイクのメタデータと、Amazon Redshift などの外部データソースをカタログ、データベース、テーブルの形式で保存します。データカタログ内のメタデータは、カタログ、データベース、テーブルで構成される 3 レベルのデータ階層に編成されています。さまざまなソースからのデータをカタログと呼ばれる論理コンテナに整理します。データベースはテーブルのコレクションです。Data Catalog には、リソースリンクも含まれています。これは、外部アカウントの共有データベースとテーブルへのリンクで、データレイク内のデータへのクロスアカウントアクセスに使用されます。各 AWS アカウントには、 AWS リージョンごとに 1 つのデータカタログがあります。

Lake Formation は、Amazon S3 の基盤となるデータを使用して、データカタログ内のカタログ、データベース、テーブル、列へのアクセスを許可または取り消すためのリレーショナルデータベース管理システム (RDBMS) アクセス許可モデルを提供します。

Lake Formation 許可モデルの詳細について学ぶ前に、以下の背景情報を確認しておくことが役に立ちます。

  • Lake Formation によって管理されるデータレイクは、Amazon Simple Storage Service (Amazon S3) 内の指定されたロケーションに置かれます。データカタログにはカタログオブジェクトも含まれています。各カタログは、Amazon Redshift データウェアハウス、 Amazon DynamoDB データベース、Snowflake、MySQL、30 を超える外部データソースなどのサードパーティーデータソースからのデータを表し、フェデレーティッドコネクタを介して統合されています。

  • Lake Formation は、データレイクにインポートされるログやリレーショナルデータベース内のデータなどのソースデータ、および Amazon S3 内のデータレイクにあるデータに関するメタデータが含まれた Data Catalog を維持します。データカタログには、Amazon S3 以外の外部データソースからのデータに関するメタデータも含まれています。メタデータは、カタログ、データベース、テーブルとして整理されます。メタデータテーブルには、スキーマ、ロケーション、パーティショニング、およびそれらが表すデータに関するその他の情報が含まれています。メタデータデータベースは、テーブルのコレクションです。

  • Lake Formation Data Catalog は、AWS Glue が使用する Data Catalog と同じです。AWS Glue クローラを使用して Data Catalog テーブルを作成し、AWS Glue 抽出、変換、ロード (ETL) ジョブを使用してデータレイク内の基盤となるデータを投入することができます。

  • データカタログ内のカタログ、データベース、テーブルは、データカタログリソースと呼ばれます。Data Catalog 内のテーブルは、Amazon S 3 のデータソースまたは表形式データ内のテーブルと区別するために、メタデータテーブルと呼ばれます。メタデータテーブルがポイントする Amazon S3 またはデータソース内のデータは、基盤となるデータと呼ばれます。

  • プリンシパルは、ユーザーまたはロール、Amazon QuickSight ユーザーまたはグループ、SAML プロバイダーを介して Lake Formation で認証するユーザーまたはグループ、またはクロスアカウントアクセスコントロール、 AWS アカウント ID、組織 ID、または組織単位 ID です。

  • AWS Glue クローラはメタデータテーブルを作成しますが、Lake Formation コンソール、API、または AWS Command Line Interface () を使用してメタデータテーブルを手動で作成することもできますAWS CLI。メタデータテーブルを作成するときは、ロケーションを指定する必要があります。データベースを作成するときは、ロケーションはオプションです。テーブルロケーションは、Amazon S3 ロケーション、または Amazon Relational Database Service (Amazon RDS) データベースなどのデータソースロケーションにすることができます。データベースロケーションは、常に Amazon S3 ロケーションです。

  • Amazon Athena および Amazon Redshift などの Lake Formation と統合するサービスは、メタデータの取得、またはクエリを実行するための認可の確認を実行するために Data Catalog にアクセスできます。統合されたサービスの完全なリストについては、「AWS Lake Formation との サービス統合」を参照してください。

トピック