使用 AWS Glue 資料目錄做為 Hive 的中繼存放區 - Amazon EMR
將 AWS Glue 資料型錄指定為中繼存放區IAM權限使用 AWS Glue Data Catalog 時的考量

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 AWS Glue 資料目錄做為 Hive 的中繼存放區

使用 Amazon 5.8.0 或更EMR新版本，您可以將 Hive 設定為使用 AWS Glue 資料目錄做為其中繼存放區。若您需要持久的中繼存放區或由不同叢集、服務、應用程式或 AWS 帳戶分享的中繼存放區，我們建議使用此組態。

AWS Glue 是一種全受管的擷取、轉換和 load (ETL) 服務，可讓您以簡單且符合成本效益的方式來分類資料、清理資料、豐富資料，以及在各種資料存放區之間可靠地移動資料。 AWS Glue 資料型錄提供跨多種資料來源和資料格式的統一中繼資料儲存庫，並與 Amazon EMR、亞馬遜RDS、Amazon Redshift、紅移頻譜、Athena 以及任何與 Apache Hive 中繼存放區相容的應用程式整合。 AWS Glue 編目器可以從 Amazon S3 中的來源資料自動推斷結構描述，並將相關的中繼資料存放在資料目錄中。如需有關資料目錄的詳細資訊，請參閱 AWS Glue 開發人員指南中的填入AWS Glue 資料型錄。

AWS Glue 需另行收費。資料目錄中的中繼資料儲存和存取每月費率， AWS Glue ETL 工作和爬行者程式執行階段的每小時費率為每分鐘計費，以及每個佈建的開發端點每分鐘計費的小時費率。Data Catalog 可讓您免費儲存多達一百萬個物件。如果您儲存超過一百萬個物件，則超過一百萬個物件每 100,000 個物件需支付 USD $1 美元的費用。Data Catalog 中的物件是資料表、分割區或資料庫。如需詳細資訊，請參閱 Glue 定價。

重要

如果您在 2017 年 8 月 14 日之前使用 Amazon Athena 或 Amazon Redshift 頻譜建立資料表，資料庫和資料表會儲存在 Athena 管理的目錄中，該目錄與 Glue 資料目錄是分開的 AWS 。若要將 Amazon EMR 與這些表格整合，您必須升級至 AWS Glue 資料型錄。如需詳細資訊，請參閱 Amazon Athena 使用者指南中的升級至 AWS Glue 資料目錄。

將 AWS Glue 資料型錄指定為中繼存放區

您可以使用、或 Amazon EMR API 將 AWS Glue 資料型錄指定為 AWS Management Console中 AWS CLI繼存放區。當您使用CLI或時API，您可以使用 Hive 的組態分類來指定資料目錄。此外，在 Amazon EMR 5.16.0 及更新版本中，您可以使用組態分類來指定不同的資料目錄。 AWS 帳戶在使用主控台時，您可以透過進階選項或快速選項指定 Data Catalog。

Console
使用主控台將 AWS Glue 資料目錄指定為 Hive 中繼存放區

  1. 登錄到 AWS Management Console, 並打開 Amazon EMR 控制台 https://console.aws.amazon.com/emr.

  2. EC2在左側導覽窗格的 [開EMR啟] 下，選擇 [叢集]，然後選擇 [建立叢集]。

  3. 在「應用程式套件包」下，選擇「核心 Hadoop」或「自訂」。HBase如果您自訂叢集，請務必選取 Hive 或HCatalog作為其中一個應用程式。

  4. 在 AWS Glue Data Catalog 設定下方，選取用於 Hive 資料表中繼資料核取方塊。

  5. 選擇適用於您的叢集的任何其他選項。

  6. 若要啟動您的叢集，請選擇建立叢集。

CLI
若要將 AWS Glue 資料型錄指定為 Hive 中繼存放區，請使用 AWS CLI

如需有關使用和指定組態分類的詳細資訊 AWS CLI EMRAPI，請參閱設定應用程式。

  • 使用以下範例中顯示的 hive-site 組態分類為 hive.metastore.client.factory.class 指定值：

    [
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
    }
  }
]

    在EMR發行版本 5.28.0、5.28.1、5.29.0 或 6.x 版上，如果您要使用「 AWS Glue 合資料目錄」做為中繼存放區建立叢集，請將設定為。hive.metastore.schema.verification false這可以防止 Hive 並HCatalog針對 My 驗證元存儲模式。SQL如果沒有這項設定，主要執行個體群組會在 Hive 或HCatalog上重新設定後暫停。

    [
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false"
    }
  }
]

    如果您已經擁有 5.28.0、5.28.1 或 5.29.0 EMR 版本的叢集，則可以使用下列資訊將主要執行個體群組設定為：hive.metastore.schema.verificationfalse

       
    Classification = hive-site
    Property       = hive.metastore.schema.verification
    Value          = false

    若要在不同的 AWS 帳戶中指定資料目錄，請新增hive.metastore.glue.catalogid屬性，如下列範例所示。使用 Data Catalog 的 AWS 帳戶取代 acct-id。

    [
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false",
      "hive.metastore.glue.catalogid": "acct-id"
    }
  }
]

IAM權限

叢集的EC2執行個體設定檔必須具有 AWS Glue 動作的IAM權限。此外，如果您啟用 AWS Glue 資料目錄物件的加密，也必須允許角色加密、解密和產生 AWS KMS key 用於加密的資料。

AWS Glue 動作的權限

如果您使用 Amazon 的預設EC2執行個體設定檔EMR，則不需要採取任何動作。附加到的AmazonElasticMapReduceforEC2Role受管理策略EMR_EC2_DefaultRole允許所有必要的 AWS Glue 動作。不過，如果您指定自訂EC2執行個體設定檔和權限，則必須設定適當的 AWS Glue 動作。使用 AmazonElasticMapReduceforEC2Role 受管政策做為起點。如需詳細資訊，請參閱 Amazon EMR 管理指南中的叢集EC2執行個體 (EC2執行個體設定檔) 的服務角色。

加密和解密 AWS Glue 資料目錄的權限

您的執行個體設定檔需要許可，以便使用您的金鑰來加密和解密資料。如若下列兩個陳述式均適用，則您不需要設定這些許可：

  • 您可以使用 AWS Glue 的受管理金鑰為 Glue 資料目錄物件啟用加密。 AWS

  • 您可以使用與 AWS Glue 資料型錄 AWS 帳戶 相同的叢集。

否則，您必須將以下聲明添加到EC2實例配置文件附加的權限策略中。

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

如需 AWS Glue 資料目錄加密的詳細資訊，請參閱 G AWS lue 開發人員指南中的加密資料目錄。

資源型許可

如果您在 Amazon 中搭配 Hive、Spark 或 Presto 使用 AWS Glu AWS eEMR，Glue 會支援以資源為基礎的政策來控制對資料目錄資源的存取。這些資源包含資料庫、資料表、連線和使用者定義的函數。如需詳細資訊，請參閱《AWS Glue 開發人員指南》中的 AWS Glue 資源政策。

使用以資源為基礎的政策限制從 Amazon 內部存取 AWS Glue 時EMR，您在許可政策中指定的主體必須是ARN與建立叢集時指定的EC2執行個體設定檔相關聯的角色。例如，對於附加至目錄的以資源為基礎的政策，您可以為叢集EC2執行個體ARN的預設服務角色指定角色，EMR_EC2_DefaultRole 作為Principal，使用下列範例中顯示的格式：

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

所以此 acct-id 可以與 AWS Glue 帳戶 ID 不同。這可讓您從不同帳戶中的EMR叢集進行存取。您可以指定多個主體，每個主體都來自不同的帳戶。

使用 AWS Glue Data Catalog 時的考量

使用 AWS Glue 資料型錄做為 Hive 的中繼存放區時，請考慮下列項目：

  • 不支援JARs使用 Hive 殼層新增輔助。因應措施是使用hive-site配置分類來設置hive.aux.jars.path屬性，該屬性JARs將輔助添加到 Hive 類路徑中。

  • 不支援 Hive 交易。

  • 不支援從 AWS Glue 中重新命名資料表。

  • 當您建立 Hive 資料表而未指定 LOCATION 時，資料表資料將儲存在 hive.metastore.warehouse.dir 屬性指定的位置。依預設，這是中的位置HDFS。如果另一個叢集需要存取該資料表，除非它對建立資料表的叢集具有足夠的許可，否則存取將會失敗。此外，由於HDFS儲存是暫時性的，所以如果叢集終止，資料表資料就會遺失，而且必須重新建立資料表。我們建議您LOCATION在使用 AWS Glue 建立 Hive 資料表時，在 Amazon S3 中指定。或者，您可以使用 hive-site 組態分類在 Amazon S3 中指定 hive.metastore.warehouse.dir 的位置，該位置將套用到全部 Hive 資料表。如果表格是在某個HDFS位置建立的，而建立該資料表的叢集仍在執行中，您可以從 AWS Glue 內將表格位置更新至 Amazon S3。如需詳細資訊，請參閱 Glue 開發人員指南中的在 AWS Glu AWS e 主控台上使用表格。

  • 不支援包含引號和撇號的分割區值，例如，PARTITION (owner="Doe's").

  • emr-5.31.0 及更高版本不支援資料欄統計資料。

  • 不支援使用 Hive 授權。或者，您可以考慮使用 AWS Glue 資源型政策。如需詳細資訊，請參閱針對 Amazon EMR 存取 AWS Glue 資料型錄使用以資源為基礎的政策。

  • 不支援 Hive 限制條件。

  • 不支援 Hive 中的成本型優化。

  • 不支援設定 hive.metastore.partition.inherit.table.properties。

  • 不支援使用下列中繼存放區常數：BUCKET_COUNT, BUCKET_FIELD_NAME, DDL_TIME, FIELD_TO_DIMENSION, FILE_INPUT_FORMAT, FILE_OUTPUT_FORMAT, HIVE_FILTER_FIELD_LAST_ACCESS, HIVE_FILTER_FIELD_OWNER, HIVE_FILTER_FIELD_PARAMS, IS_ARCHIVED, META_TABLE_COLUMNS, META_TABLE_COLUMN_TYPES, META_TABLE_DB, META_TABLE_LOCATION, META_TABLE_NAME, META_TABLE_PARTITION_COLUMNS, META_TABLE_SERDE, META_TABLE_STORAGE, ORIGINAL_LOCATION。

  • 當您使用述詞表達式時，明確值必須在比較運算子的右側，否則查詢可能失敗。

    • 正確：SELECT * FROM mytable WHERE time > 11

    • 不正確：SELECT * FROM mytable WHERE 11 > time

  • Amazon EMR 版本 5.32.0 和 6.3.0 及更新版本支援在述詞運算式中使用使用者定義函數 (UDFs)。使用早期版本時，由於 Hive 嘗試優化查詢執行的方式，您的查詢可能會失敗。

  • 不支援暫時資料表。

  • 建議您透過 Amazon 使用應用程式建立表格，EMR而不是直接使用 AWS Glue 建立資料表。透過 AWS Glue 建立資料表可能會造成必要欄位遺失，並造成查詢例外狀況。

  • 在 EMR 5.20.0 或更新版本中，當 AWS Glue 資料目錄作為中繼存放區時，Spark 和 Hive 會自動啟用 parallel 分割區修剪。這項變更會平行執行多個請求來擷取分割區，從而大幅縮短查詢規劃時間。可同時執行的區段總數範圍介於 1 到 10 之間。預設值為 5，此為建議設定。您可以在 hive-site 組態分類中指定屬性 aws.glue.partition.num.segments 加以變更。如果發生限流，您可以透過將值變更為 1 以關閉該功能。如需詳細資訊，請參閱 AWS Glue 區段結構。