AWS Glue Data Catalog をメタストアとして指定する IAM アクセス許可 AWS Glue Data Catalog を使用する場合の考慮事項

Hive のメタストアとしての AWS Glue Data Catalog の使用

Amazon EMR リリース 5.8.0 以降では、AWS Glue Data Catalog をメタストアとして使用するように Hive を設定できます。永続的なメタストア、またはさまざまなクラスター、サービス、アプリケーション、あるいは AWS アカウントで共有されるメタストアが必要である場合は、この設定をお勧めします。

AWS Glue は、簡単でコスト効果の高い方法でデータの分類、消去、強化、およびさまざまなデータストア間を確実に移動することができる、フルマネージド型の抽出、変換、ロード (ETL) サービスです。AWS Glue Data Catalog は、さまざまなデータソースおよびデータ形式にわたって一本化されたメタデータリポジトリを提供します。そのために、Amazon EMR だけでなく、Amazon RDS、Amazon Redshift、Redshift Spectrum、Athena、およびその他の Apache Hive メタストアと互換性のあるすべてのアプリケーションと連携します。AWSGlue クローラは、Amazon S3 のソースデータからスキーマを自動的に推論し、関連するメタデータを Data Catalog に保存します。Data Catalog の詳細については、「AWS Glue デベロッパーガイド」の「AWS Glue データカタログの作成」を参照してください。

AWS Glue には、別個の料金が適用されます。Data Catalog にメタデータを保存し、保存済みメタデータにアクセスするための月別レート、AWS Glue ETL ジョブとクローラランタイムに対して分単位で課金される時間レート、およびプロビジョニング済みの開発エンドポイントごとに分単位で課金される時間レートが適用されます。Data Catalog では、最大 100 万個までのオブジェクトを無料で保存できます。100 万を超えるオブジェクトを保存した場合は、100,000 オブジェクトごとに 1 USD が課金されます。Data Catalog 内のオブジェクトは、テーブル、パーティション、またはデータベースです。詳細については、「Glue 料金表」を参照してください。

重要

2017 年 8 月 14 日よりも前に Amazon Athena または Amazon Redshift Spectrum を使用してテーブルを作成した場合、データベースとテーブルは Athena 管理のカタログに保存されます。このカタログは、AWS Glue データカタログとは別個のものです。Amazon EMR をこれらのテーブルに統合するには、AWS Glue データカタログにアップグレードする必要があります。詳細については、「Amazon Athena ユーザーガイド」の「AWS Glue データカタログへのアップグレード」を参照してください。

AWS Glue Data Catalog をメタストアとして指定する

AWS Management Console、AWS CLI、または Amazon EMR API を使用して、AWS Glue Data Catalog をメタストアとして指定できます。CLI または API を使用する場合は、Hive の設定分類を使用して Data Catalog を指定します。さらに、Amazon EMR 5.16.0 以降では、設定分類を使用して、別の AWS アカウントにデータカタログを指定できます。コンソールを使用する場合は、[Advanced Options] (詳細オプション) または [Quick Options] (クイックオプション) を使用して、Data Catalog を指定できます。

New console

新しいコンソールを使用して AWS Glue Data Catalog を Hive メタストアとして指定するには

AWS Management Consoleにサインインし、Amazon EMR コンソール (https://console.aws.amazon.com/emr) を開きます。
左側のナビゲーションペインの [EMR on EC2] で、[クラスター] を選択し、[クラスターの作成] を選択します
[アプリケーションバンドル] で [Core Hadoop]、[HBase]、または [カスタム] を選択します。クラスターをカスタマイズする場合は、必ず Hive または HCatalog をアプリケーションの 1 つとして選択しします。
[AWS Glue Data Catalog 設定] で [Hive テーブルメタデータに使用] チェックボックスをオンにします。
クラスターに適用するその他のオプションを選択します。
クラスターを起動するには、[クラスターの作成] を選択します。

Old console

古いコンソールを使用して AWS Glue Data Catalog を Hive メタストアとして指定するには

新しい Amazon EMR コンソールに移動し、サイドナビゲーションから [古いコンソールに切り替え] を選択します。古いコンソールに切り替えたときの動作の詳細については、「Using the old console」を参照してください。
[Create cluster (クラスターの作成)]、[Go to advanced options (詳細オプションに移動する)] の順に選択します。
[Release] で、[emr-5.8.0] 以降を選択します。
[Release (リリース)] で [Hive] または [HCatalog] を選択します。
[AWS Glue Data Catalog 設定] で [Hive テーブルメタデータに使用] を選択します。
必要に応じてクラスターの他のオプションを選択し、[Next (次へ)] 選択してアプリケーションに適切な他のクラスターオプションを設定します。

CLI

AWS CLI を使用して AWS Glue Data Catalog を Hive メタストアとして指定するには

AWS CLI と EMR API を使用した設定分類の指定方法の詳細については、「アプリケーションの設定」を参照してください。

次の例に示すように、hive-site 設定分類を使用して hive.metastore.client.factory.class の値を指定します。
```
[
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
    }
  }
]
						
```
EMR リリースバージョン 5.28.0、5.28.1、5.29.0、または 6.x で、メタストアとして AWS Glue Data Catalog を使用してクラスターを作成する場合は、hive.metastore.schema.verification を false に設定します。これにより、Hive と HCatalog が MySQL に対してメタストアスキーマを検証できなくなります。この設定がない場合、プライマリインスタンスグループは Hive または HCatalog の再設定後に中断されます。
```
[
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false"
    }
  }
]
					
```
EMR リリースバージョン 5.28.0、5.28.1、または 5.29.0 にクラスターが既に存在する場合は、次の情報を使用してプライマリインスタンスグループ hive.metastore.schema.verification を false に設定できます。
```
   
    Classification = hive-site
    Property       = hive.metastore.schema.verification
    Value          = false
					
```
別の AWS アカウントでデータカタログを指定するには、以下の例に示すように hive.metastore.glue.catalogid プロパティを追加します。acct-id は、データカタログの AWS アカウントに置き換えます。
```
[
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false",
      "hive.metastore.glue.catalogid": "acct-id"
    }
  }
]
				
```

IAM アクセス許可

クラスターの EC2 インスタンスプロファイルには、AWS Glue アクションに対する IAM アクセス許可が必要です。さらに、AWS Glue Data Catalog オブジェクトの暗号化を有効にする場合は、暗号化に使用する AWS KMS key を暗号化、復号、および生成できるロールも必要です。

AWS Glue アクションに対するアクセス許可

Amazon EMR のデフォルトの EC2 インスタンスプロファイルを使用する場合、アクションは必要ありません。EMR_EC2_DefaultRole にアタッチされている AmazonElasticMapReduceforEC2Role 管理ポリシーでは、必要なすべての AWS Glue アクションが許可されます。ただし、カスタム EC2 インスタンスプロファイルとアクセス許可を指定する場合、該当する AWS Glue アクションを設定する必要があります。開始点として AmazonElasticMapReduceforEC2Role 管理ポリシーを使用します。詳細については、「Amazon EMR 管理ガイド」の「クラスター EC2 インスタンスのサービスロール (EC2 インスタンスプロファイル)」を参照してください。

AWS Glue データカタログを暗号化/復号するためのアクセス許可

インスタンスプロファイルには、キーを使用してデータを暗号化および復号するためのアクセス許可が必要です。以下のステートメントが両方とも適用される場合、これらのアクセス許可を設定する必要はありません。

AWS Glue の管理キーを使用する AWS Glue Data Catalog オブジェクトの暗号化を有効にする。
AWS アカウント Glue Data Catalog と同じ AWS にあるクラスターを使用する。

それ以外の場合は、EC2 インスタンスプロファイルにアタッチされたアクセス許可ポリシーに次のステートメントを追加する必要があります。


[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

AWS Glue Data Catalog 暗号化の詳細については、「AWS Glue デベロッパーガイド」の「データカタログの暗号化」を参照してください。

リソースベースのアクセス許可

AWS Glue を Amazon EMR で Hive、Spark、または Presto と共に使用する場合、AWS Glue はデータカタログのリソースへのアクセスを制御するリソースベースのポリシーをサポートします。これらのリソースには、データベース、テーブル、接続、ユーザー定義関数が含まれます。詳細については、「AWS Glue デベロッパーガイド」の「AWS Glue リソースポリシー」を参照してください。

リソースベースのポリシーを使用して、Amazon EMR 内から AWS Glue へのアクセスを制限する場合、許可ポリシーに指定するプリンシパルは、クラスターの作成時に指定された EC2 インスタンスプロファイルに関連付けられたロール ARN である必要があります。例えば、カタログにアタッチされたリソースベースのポリシーの場合、以下の例に示されている形式を使用して、クラスター EC2 インスタンスのデフォルトサービスロールのロール ARN である EMR_EC2_DefaultRole を Principal として指定できます。


arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

acct-id は AWS Glue アカウント ID とは異なるものにすることができます。これにより、さまざまなアカウントで EMR クラスターからアクセスできます。異なるアカウントから、複数のプリンシパルを指定できます。

AWS Glue Data Catalog を使用する場合の考慮事項

AWS Glue Data Catalog を Hive でメタストアとして使用するときは、以下について考慮します。

Hive シェルを使用した補助 JAR の追加はサポートされません。この問題を回避するには、hive-site 設定分類を使用して hive.aux.jars.path プロパティを設定します。これにより、Hive のクラスパスに補助 JAR が追加されます。
Hive のトランザクションはサポートされていません。
AWS Glue 内からのテーブルの名前変更はサポートされていません。
LOCATION を指定せずに Hive テーブルを作成すると、テーブルデータは、hive.metastore.warehouse.dir プロパティによって指定された場所に保管されます。デフォルトでは、これは HDFS 内の場所です。別のクラスターがテーブルにアクセスする必要がある場合、テーブルを作成したクラスターに対する適切なアクセス許可がない限り、処理に失敗します。さらに、HDFS ストレージは一時的であるため、クラスターが終了すると、テーブルデータは失われ、テーブルを再作成する必要があります。AWS Glue を使用して Hive テーブルを作成するときに、Amazon S3 で LOCATION を指定することをお勧めします。または、hive-site 設定分類を使用して、hive.metastore.warehouse.dir の Amazon S3 で場所を指定できます。これは、すべての Hive テーブルに適用されます。テーブルが HDFS の場所に作成され、それを作成したクラスターがまだ実行中の場合、AWS Glue 内から Amazon S3 にテーブルの場所を更新できます。詳細については、「AWS Glue デベロッパーガイド」の「AWS Glue コンソールでのテーブルの使用」を参照してください。
引用符とアポストロフィを含むパーティション値はサポートされていません(例: PARTITION (owner="Doe's").)。
列統計は、emr-5.31.0 以降でサポートされています。
Hive 認可の使用はサポートされていません。代替策として、AWS Glue リソースベースのポリシーを使用することを検討してください。詳細については、「リソースベースのポリシーを使用して Amazon EMR から AWS Glue データカタログにアクセスする」を参照してください。
Hive 制約はサポートされていません。
Hive でのコストベースの最適化はサポートされていません。
hive.metastore.partition.inherit.table.properties の使用はサポートされていません。
次のメタストア定数の使用はサポートされていません。BUCKET_COUNT, BUCKET_FIELD_NAME, DDL_TIME, FIELD_TO_DIMENSION, FILE_INPUT_FORMAT, FILE_OUTPUT_FORMAT, HIVE_FILTER_FIELD_LAST_ACCESS, HIVE_FILTER_FIELD_OWNER, HIVE_FILTER_FIELD_PARAMS, IS_ARCHIVED, META_TABLE_COLUMNS, META_TABLE_COLUMN_TYPES, META_TABLE_DB, META_TABLE_LOCATION, META_TABLE_NAME, META_TABLE_PARTITION_COLUMNS, META_TABLE_SERDE, META_TABLE_STORAGE, ORIGINAL_LOCATION。
述語式を使用する場合、明示的な値が比較演算子の右側にある必要があります。そうしなければ、クエリが失敗する可能性があります。
- 正: SELECT * FROM mytable WHERE time > 11
- 誤: SELECT * FROM mytable WHERE 11 > time
Amazon EMR バージョン 5.32.0 および 6.3.0 以降では、述語式でのユーザー定義関数 (UDF) の使用がサポートされています。以前のバージョンを使用している場合、Hive がクエリの実行を最適化しようとするため、クエリが失敗する可能性があります。
一時テーブルはサポートされていません。
テーブルを作成するときは、AWS Glue を使用して直接作成するのではなく、Amazon EMR からアプリケーションを使用して作成することをお勧めします。AWS Glue でテーブルを作成すると、必須フィールドが欠落し、クエリ例外が生じる可能性があります。
EMR 5.20.0 以降では、メタストアとして AWS Glue Data Catalog が使用されている場合、Spark と Hive に対して並列パーティションプルーニングが自動的に有効になります。この変更により、複数のリクエストを並列に実行してパーティションを取得できるため、クエリ計画時間が大幅に短縮されます。同時に実行できるセグメントの総数は、1～10 の範囲です。デフォルト値は 5 であり、これが推奨される設定です。hive-site 設定分類の aws.glue.partition.num.segments プロパティを指定すると、これを変更できます。スロットリングが発生した場合は、値を 1 に変更して機能をオフにすることができます。詳細については、「AWS Glue セグメント構造」を参照してください。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

Hive の外部メタストアの設定

外部の MySQL データベースまたは Amazon Aurora の使用