Verwenden Sie den AWS Glue-Datenkatalog als Metastore für Spark SQL

Mit EMR Amazon-Version 5.8.0 oder höher können Sie Spark so konfigurieren, SQL dass der AWS Glue-Datenkatalog als Metastore verwendet wird. Wir empfehlen diese Konfiguration, wenn Sie einen persistenten Metastore oder einen gemeinsamen Metastore für verschiedene Cluster, Services, Anwendungen oder AWS -Konten benötigen.

AWS Glue ist ein vollständig verwalteter Service zum Extrahieren, Transformieren und Laden (ETL), mit dem Sie Ihre Daten einfach und kostengünstig kategorisieren, bereinigen, anreichern und zuverlässig zwischen verschiedenen Datenspeichern verschieben können. Der AWS Glue Data Catalog bietet ein einheitliches Metadaten-Repository für eine Vielzahl von Datenquellen und Datenformaten, das sich sowohl in Amazon EMR als auch in AmazonRDS, Amazon Redshift, Redshift Spectrum, Athena und jede mit dem Apache Hive Metastore kompatible Anwendung integrieren lässt. AWS Glue-Crawler können automatisch Schemas aus Quelldaten in Amazon S3 ableiten und die zugehörigen Metadaten im Datenkatalog speichern. Weitere Informationen zum Datenkatalog finden Sie unter Füllen des AWS Glue-Datenkatalogs im AWS Glue-Entwicklerhandbuch.

Für AWS Glue fallen separate Gebühren an. Es gibt eine monatliche Gebühr für das Speichern und Zugreifen auf die Metadaten im Datenkatalog, einen Stundensatz, der pro Minute für AWS ETL Glue-Jobs und Crawler-Laufzeit abgerechnet wird, und einen Stundensatz, der pro Minute für jeden bereitgestellten Entwicklungsendpunkt abgerechnet wird. Der Datenkatalog ermöglicht Ihnen die gebührenfreie Speicherung von bis zu einer Million Objekten. Wenn Sie mehr als eine Million Objekte speichern, wird Ihnen USD 1 USD für jeweils 100.000 Objekte über eine Million berechnet. Im Data Catalog ist ein Objekt eine Tabelle, eine Partition oder eine Datenbank. Weitere Informationen finden Sie unter Glue-Preise.

Wichtig

Wenn Sie vor dem 14. August 2017 Tabellen mit Amazon Athena oder Amazon Redshift Spectrum erstellt haben, werden Datenbanken und Tabellen in einem von Athena verwalteten Katalog gespeichert, der vom Glue-Datenkatalog getrennt ist. AWS Um Amazon EMR in diese Tabellen zu integrieren, müssen Sie ein Upgrade auf den AWS Glue Data Catalog durchführen. Weitere Informationen finden Sie unter Upgrade auf den AWS Glue-Datenkatalog im Amazon Athena Athena-Benutzerhandbuch.

AWS Glue Data Catalog als Metastore angeben

Sie können den AWS Glue-Datenkatalog als Metastore angeben, indem Sie Amazon AWS Management Console EMRAPI, AWS CLI, oder verwenden. Wenn Sie das CLI oder verwendenAPI, verwenden Sie die Konfigurationsklassifizierung für Spark, um den Datenkatalog anzugeben. Darüber hinaus können Sie mit Amazon EMR 5.16.0 und höher die Konfigurationsklassifizierung verwenden, um einen Datenkatalog in einem anderen zu spezifizieren. AWS-KontoWenn Sie die Konsole verwenden, können Sie den Data Catalog mit den erweiterten Optionen oder den Schnelloptionen angeben.

Anmerkung

Die Option zur Verwendung von AWS Glue Data Catalog ist auch bei Zeppelin verfügbar, da Zeppelin mit Spark-Komponenten installiert ist. SQL

Console

So geben Sie AWS Glue Data Catalog mit der neuen Konsole als Spark-Metastore an

1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

2. Wählen Sie EC2 im linken Navigationsbereich unter Amazon EMR on die Option Clusters und dann Create cluster aus.

3. Wählen Sie unter Anwendungspaket die Option Spark oder Benutzerdefiniert aus. Wenn Sie Ihren Cluster anpassen, stellen Sie sicher, dass Sie Zeppelin oder Spark als eine Ihrer Anwendungen auswählen.

4. Aktivieren Sie unter Einstellungen für den AWS Glue Data Catalog das Kontrollkästchen Für Spark-Tabellenmetadaten verwenden.

5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

AWS CLI

Um den AWS Glue-Datenkatalog als Spark-Metastore zu spezifizieren mit dem AWS CLI

Weitere Informationen zur Angabe einer Konfigurationsklassifizierung mithilfe von AWS CLI und Amazon EMR API finden Sie unterAnwendungen konfigurieren.

• Geben Sie den Wert für hive.metastore.client.factory.class mit der Klassifizierung spark-hive-site an, wie in dem folgenden Beispiel gezeigt:

  [
    {
      "Classification": "spark-hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
      }
    }
  ]
  						

  Um einen Datenkatalog in einem anderen AWS Konto anzugeben, fügen Sie die hive.metastore.glue.catalogid Eigenschaft hinzu, wie im folgenden Beispiel gezeigt. Ersetzen Sie acct-id durch das AWS -Konto des Data Catalog.

  [
    {
      "Classification": "spark-hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
        "hive.metastore.glue.catalogid": "acct-id"
      }
    }
  ]
  						

IAMBerechtigungen

Das EC2 Instanzprofil für einen Cluster muss über IAM Berechtigungen für AWS Glue-Aktionen verfügen. Wenn Sie die Verschlüsselung für AWS Glue Data Catalog-Objekte aktivieren, muss die Rolle außerdem berechtigt sein, die für die Verschlüsselung AWS KMS key verwendeten Daten zu verschlüsseln, zu entschlüsseln und zu generieren.

Berechtigungen für AWS Glue-Aktionen

Wenn Sie das EC2 Standard-Instance-Profil für Amazon verwendenEMR, ist keine Aktion erforderlich. Die AmazonElasticMapReduceforEC2Role verwaltete Richtlinie, die an die angehängt ist, EMR_EC2_DefaultRole ermöglicht alle erforderlichen AWS Glue-Aktionen. Wenn Sie jedoch ein benutzerdefiniertes EC2 Instanzprofil und Berechtigungen angeben, müssen Sie die entsprechenden AWS Glue-Aktionen konfigurieren. Verwenden Sie hierzu die verwaltete Richtlinie AmazonElasticMapReduceforEC2Role als Ausgangspunkt. Weitere Informationen finden Sie unter Servicerolle für EC2 Cluster-Instances (EC2Instance-Profil) im Amazon EMR Management Guide.

Berechtigungen zum Verschlüsseln und Entschlüsseln von AWS Glue Data Catalog

Ihr Instance-Profil benötigt die Erlaubnis, Daten mithilfe Ihres Schlüssels zu verschlüsseln und zu entschlüsseln. Sie müssen diese Berechtigungen nicht konfigurieren, wenn die beiden folgenden Aussagen zutreffen:

• Sie aktivieren die Verschlüsselung für AWS Glue Data Catalog-Objekte mithilfe von verwalteten Schlüsseln für AWS Glue.

• Sie verwenden einen Cluster, der sich im selben Verzeichnis befindet AWS-Konto wie der AWS Glue-Datenkatalog.

Andernfalls müssen Sie der Berechtigungsrichtlinie, die Ihrem EC2 Instanzprofil beigefügt ist, die folgende Erklärung hinzufügen.

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

Weitere Informationen zur Verschlüsselung von AWS Glue Data Catalog finden Sie unter Verschlüsselung Ihres Datenkatalogs im AWS Glue Developer Guide.

Ressourcenbasierte Berechtigungen

Wenn Sie AWS Glue in Verbindung mit Hive, Spark oder Presto in Amazon EMR verwenden, unterstützt AWS Glue ressourcenbasierte Richtlinien zur Steuerung des Zugriffs auf Datenkatalogressourcen. Zu diesen Ressourcen gehören Datenbanken, Tabellen, Verbindungen und benutzerdefinierte Funktionen. Weitere Informationen finden Sie unter Verwenden von ressourcenbasierten Richtlinien für AWS Glue im AWS -Glue-Entwicklerhandbuch.

Wenn Sie ressourcenbasierte Richtlinien verwenden, um den Zugriff auf AWS Glue von Amazon aus zu beschränkenEMR, muss der Principal, den Sie in der Berechtigungsrichtlinie angeben, die Rolle sein, die dem EC2 Instance-Profil ARN zugeordnet ist, das bei der Erstellung eines Clusters angegeben wird. Beispielsweise können Sie für eine ressourcenbasierte Richtlinie, die an einen Katalog angehängt ist, die Rolle ARN für die Standard-Servicerolle für Cluster-Instances angeben. EC2 EMR_EC2_DefaultRole als derPrincipal, wobei das im folgenden Beispiel gezeigte Format verwendet wird:

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

Das Tool acct-id kann sich von der AWS Glue-Konto-ID unterscheiden. Dies ermöglicht den Zugriff von EMR Clustern in verschiedenen Konten aus. Sie können mehrere Principals angeben, von denen jeder aus einem anderen Konto stammt.

Überlegungen zur Verwendung von AWS Glue Data Catalog

Beachten Sie die folgenden Punkte, wenn Sie AWS Glue Data Catalog als Metastore mit Spark verwenden:

• Eine Standarddatenbank ohne Speicherort URI führt zu Fehlern beim Erstellen einer Tabelle. Um dieses Problem zu umgehen, verwenden Sie die LOCATION-Klausel, um den Bucket-Speicherort anzugeben, z. B. s3://EXAMPLE-DOC-BUCKET, wenn Sie CREATE TABLE verwenden. Alternativ können Sie auch Tabellen in einer anderen Datenbank als der Standarddatenbank erstellen.

• Das Umbenennen von Tabellen in AWS Glue wird nicht unterstützt.

• Wenn Sie eine Hive-Tabelle erstellen, ohne eine LOCATION anzugeben, werden die Tabellendaten an dem in der Eigenschaft hive.metastore.warehouse.dir angegebenen Ort gespeichert. Standardmäßig ist dies ein Speicherort inHDFS. Wenn ein anderer Cluster auf die Tabelle zugreifen muss, schlägt er fehl, sofern er nicht über ausreichende Berechtigungen für den Cluster verfügt, der die Tabelle erstellt hat. Da der HDFS Speicher vorübergehend ist, gehen außerdem die Tabellendaten verloren, wenn der Cluster beendet wird, und die Tabelle muss neu erstellt werden. Wir empfehlen, dass Sie LOCATION in Amazon S3 a angeben, wenn Sie eine Hive-Tabelle mit AWS Glue erstellen. Alternativ können Sie die hive-site-Konfigurationsklassifizierung verwenden, um einen Speicherort in Amazon S3 für hive.metastore.warehouse.dir anzugeben, der für alle Hive-Tabellen gilt. Wenn eine Tabelle an einem HDFS Standort erstellt wurde und der Cluster, der sie erstellt hat, noch läuft, können Sie den Tabellenstandort von AWS Glue aus auf Amazon S3 aktualisieren. Weitere Informationen finden Sie unter Arbeiten mit Tabellen auf der AWS Glue-Konsole im AWS Glue-Entwicklerhandbuch.

• Partitionswerte, die Anführungszeichen und Apostrophe enthalten, werden nicht unterstützt, zum Beispiel PARTITION (owner="Doe's").

• Spaltenstatistiken werden für emr-5.31.0 und höher unterstützt.

• Die Verwendung der Hive-Autorisierung wird nicht unterstützt. Als Alternative sollten Sie die Verwendung ressourcenbasierter Richtlinien für AWS Glue in Betracht ziehen. Weitere Informationen finden Sie unter Verwenden von ressourcenbasierten Richtlinien für den Amazon EMR Access to AWS Glue-Datenkatalog.