Amazon EMRを と統合する AWS Lake Formation

AWS Lake Formation は、Amazon Simple Storage Service (S3) データレイク内のデータを検出、カタログ化、クレンジング、保護するのに役立つマネージドサービスです。Lake Formation は、 AWS Glue データカタログ内のデータベースとテーブルへのきめ細かな列レベルのアクセスを提供します。詳細については、「What is AWS Lake Formation?」を参照してください。

Amazon EMRリリース 6.7.0 以降では、Amazon EMRクラスターに送信する Spark、Hive、Presto ジョブに Lake Formation ベースのアクセスコントロールを適用できます。Lake Formation と統合するには、ランタイムロール を持つ EMRクラスターを作成する必要があります。ランタイムロールは、Amazon EMRジョブまたはクエリに関連付ける AWS Identity and Access Management （IAM) ロールです。EMR 次に、Amazon はこのロールを使用して AWS リソースにアクセスします。詳細については、「Amazon ステップのランタイムロール EMR 」を参照してください。

Amazon と Lake Formation EMRの連携方法

Amazon EMRを Lake Formation と統合したら、 StepAPIまたは SageMaker Studio を使用して Amazon EMRクラスターへのクエリを実行できます。その後、Lake Formation は Amazon の一時的な認証情報を通じてデータへのアクセスを提供しますEMR。このプロセスは、認証情報の供給と呼ばれます。詳細については、「What is AWS Lake Formation?」を参照してください。

以下は、Amazon が Lake Formation セキュリティポリシーで保護されたデータEMRにアクセスする方法の概要です。

1. ユーザーは Lake Formation のデータに対して Amazon EMRクエリを送信します。

2. Amazon は Lake Formation に一時的な認証情報をEMRリクエストして、ユーザーデータへのアクセスを許可します。

3. Lake Formation が一時的な認証情報を返します。

4. Amazon EMRはクエリリクエストを送信して、Amazon S3 からデータを取得します。

5. Amazon EMRは Amazon S3 からデータを受け取り、フィルタリングして、ユーザーが Lake Formation で定義したユーザーアクセス許可に基づいて結果を返します。

Lake Formation ポリシーへのユーザーおよびグループの追加については、「Granting Data Catalog permissions」を参照してください。

前提条件

Amazon EMRと Lake Formation を統合する前に、次の要件を満たす必要があります。

• Amazon EMRクラスターでランタイムロール認証を有効にします。

• AWS Glue データカタログをメタデータストアとして使用します。

• AWS Glue Data Catalog のデータベース、テーブル、列にアクセスするためのアクセス許可を Lake Formation で定義および管理します。詳細については、「What is AWS Lake Formation?」を参照してください。

トピック

• Amazon で Lake Formation を有効にする EMR
• Apache Hudi と Lake Formation
• Apache Iceberg と Lake Formation
• Delta Lake と Lake Formation
• Lake Formation EMRを使用した Amazon に関する考慮事項