へのデータの取り込み AWS Glue Data Catalog - AWS Lake Formation

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

へのデータの取り込み AWS Glue Data Catalog

AWS Glue Data Catalog （データカタログ) でフェデレーティッドカタログを作成し、Amazon S3 データレイクと Amazon Redshift データウェアハウス間でデータを統合できます。また、 などの運用データベースや、PostgreSQL Amazon DynamoDB、Google BigQuery、MySQL などのサードパーティーデータソースからのデータを統合することもできます。データカタログは、一元化されたメタデータリポジトリを提供し、異種システム間でのデータの管理と発見を容易にします。

Data Catalog は、フェデレーティッドコネクタを介して 30 を超える外部データソースと統合されます。この統合により、 AWS データパイプラインを構築して最初にデータを に取り込むことなく、これらの外部ソースからデータをクエリできます。

外部データをカタログ化した後、 AWS Lake Formation を使用して Data Catalog 内のデータアクセス許可を一元管理できます。データレイク管理者は、タグベースのアクセスコントロール (LF タグ) と名前付きリソースメソッドを使用して、同じアカウント内またはアカウント間で、他の IAM プリンシパル (ユーザーまたはロール) にきめ細かなアクセス許可を付与できます。

LF タグを使用すると、データ管理者はドメインや機密性レベルなどの属性に基づいてリソースを論理的に整理できるため、アクセス許可管理を簡素化しながら、Athena、Amazon EMR、 AWS Glue Redshift Spectrum などの分析サービスと機械学習サービス間で一貫したアクセスコントロールを確保できます。

データカタログには、外部データセットと外部メタストアのデータとアクセス許可を管理する以下の方法が用意されています。

  • Amazon Redshift データウェアハウスのデータを に AWS Glue Data Catalog取り込む – 既存の Amazon Redshift 名前空間またはクラスターをデータカタログに登録し、データカタログにマルチレベルフェデレーティッドカタログを作成します。

    Amazon EMR Serverless や Amazon Athena など、Apache Iceberg REST カタログ OpenAPI 仕様と互換性のある任意のクエリエンジンを使用してデータにアクセスできます。

  • 外部データソースから Data Catalog にフェデレーションする – AWS Glue 接続を使用して Data Catalog を外部データソースに接続し、フェデレーションカタログを作成して Lake Formation を使用してデータセットへのアクセス許可を一元管理します。データカタログへのメタデータの移行は必要ありません。

  • Amazon S3 Table バケットをデータカタログと統合する (プレビュー） – Amazon S3 Tables をデータカタログオブジェクトとして公開およびカタログ化し、Lake Formation コンソールまたは AWS Glue API オペレーションを使用して、カタログを Lake Formation データの場所として登録できます。

  • データカタログで Amazon Redshift テーブルを管理するカタログを作成する – 現在、Amazon Redshift プロデューサークラスターや Amazon Redshift データ共有は利用できない場合がありますが、Data Catalog を使用して Amazon Redshift テーブルを作成および管理する必要があります。glue:CreateCatalog API オペレーションまたは AWS Lake Formation コンソールを使用して AWS Glue マネージドカタログを作成するには、カタログタイプを Catalog source Redshift として設定Managedします。

  • Amazon Redshift データ共有をデータカタログで公開する – Amazon Redshift データ共有をデータカタログに公開し、Lake Formation を使用してデータ共有のデータアクセスを一元管理し、ユーザーアクセスを制限します。

    Amazon Redshift Spectrum を使用してデータをクエリできます。

  • データカタログを外部 Hive メタストアに接続する – データカタログを外部メタストアに接続して、Lake Formation を使用して Amazon S3 のデータセットに対するアクセス許可を管理します。データカタログへのメタデータの移行は必要ありません。

  • Lake Formation と AWS Data Exchange の統合 – Lake Formation は、 を介したデータへのライセンスアクセスをサポートします AWS Data Exchange。Lake Formation データをライセンスする場合は、AWS Data Exchange 「 ユーザーガイド」の「 とは AWS Data Exchange」を参照してください。

トピック