Registrieren Sie S3-Tabellen-Bucket-Kataloge und fragen Sie Tabellen von Athena ab

Amazon S3-Tabellen-Buckets sind ein Bucket-Typ in Amazon S3, der speziell zum Speichern von Tabellendaten in Apache Iceberg-Tabellen entwickelt wurde. Tabellen-Buckets automatisieren Tabellenverwaltungsaufgaben wie Komprimierung, Snapshot-Verwaltung und Garbage-Collection, um die Abfrageleistung kontinuierlich zu optimieren und die Kosten zu minimieren. Ganz gleich, ob Sie gerade erst anfangen oder Tausende von Tabellen in Ihrer Iceberg-Umgebung haben, Tabellen-Buckets vereinfachen Data Lakes in jeder Größenordnung. Weitere Informationen finden Sie unter Tabellen-Buckets.

Überlegungen und Einschränkungen

• Alle DDL-Operationen, die für Iceberg-Tabellen unterstützt werden, werden für S3-Tabellen unterstützt, mit den folgenden Ausnahmen:

  • ALTER TABLE RENAMECREATE VIEW, und ALTER DATABASE werden nicht unterstützt.

  • OPTIMIZEund VACUUM — Sie können die Komprimierung und die Snapshot-Verwaltung in S3 verwalten. Weitere Informationen finden Sie in der Dokumentation zur Wartung von S3-Tabellen.

• DDL-Abfragen auf S3-Tabellen, die als Athena-Datenquellen registriert sind, werden nicht unterstützt.

• Die Wiederverwendung von Abfrageergebnissen wird nicht unterstützt.

• In Arbeitsgruppen mit aktivierter SSE-KMS- und CSE-KMS-Verschlüsselung können Sie keine Schreibvorgänge wieINSERT,, oder für UPDATE S3-Tabellen DELETE ausführen. MERGE

• In Arbeitsgruppen, in denen die Option S3 Requester Pays aktiviert ist, können Sie keine DML-Operationen für S3-Tabellen ausführen.

S3-Tabellen von Athena abfragen

Führen Sie diese erforderlichen Schritte aus, bevor Sie S3-Tabellen in Athena abfragen

1. Erstellen Sie einen S3-Tabellen-Bucket. Weitere Informationen finden Sie unter Erstellen eines Tabellen-Buckets im Amazon Simple Storage Service-Benutzerhandbuch.

2. Stellen Sie sicher, dass die Integration Ihrer Tabellen-Buckets mit AWS Glue Data Catalog und erfolgreich AWS Lake Formation ist, indem Sie die Voraussetzungen für die Integration und Integration von Table-Buckets mit AWS Analyseservices im Amazon Simple Storage Service-Benutzerhandbuch befolgen.

   Anmerkung

   Wenn Sie die Integration beim Erstellen eines S3-Tabellen-Buckets über die S3-Konsole in Schritt 1 aktiviert haben, können Sie diesen Schritt überspringen.

3. Erteilen Sie Lake Formation Formation-Berechtigungen für den Principal, den Sie zum Ausführen von Abfragen mit Athena verwenden, entweder über die Lake Formation Formation-Konsole oder AWS CLI.

   AWS Management Console

   1. Öffnen Sie die AWS Lake Formation Konsole unter https://console.aws.amazon.com/lakeformation/ und melden Sie sich als Data Lake-Administrator an. Weitere Informationen zum Erstellen eines Data-Lake-Administrators finden Sie unter Create a data lake administrator (Data-Lake-Administrator erstellen).

   2. Wählen Sie im Navigationsbereich Data permissions (Datenberechtigungen) und dann Grant (Erteilen) aus.

   3. Wählen Sie auf der Seite Grant Permissions unter Principals den Principal aus, den Sie verwenden möchten, um eine Anfrage von Athena einzureichen.

   4. Wählen Sie unter LF-Tags or catalog resources (LF-Tags oder Katalogressourcen) die Option Named Data Catalog resources (Benannte Datenkatalogressourcen).

   5. Wählen Sie für Catalogs (Kataloge) einen Glue-Datenkatalog, den Sie im Rahmen der Integration Ihres Tabellen-Buckets erstellt haben. Zum Beispiel :s3tablescatalog/. <accoundID> amzn-s3-demo-bucket

   6. Wählen Sie für Katalogberechtigungen die Option Super aus.

   7. Wählen Sie Grant (Erteilen).

   AWS CLI

   Führen Sie den folgenden Befehl mit der Lake Formation Data Lake-Administratorrolle aus, um Zugriff auf den Prinzipal zu gewähren, den Sie zum Senden von Abfragen von Athena verwenden.

   aws lakeformation grant-permissions \
   --region <region (Example,us-east-1)> \
   --cli-input-json \
   '{
       "Principal": {
           "DataLakePrincipalIdentifier": "<user or role ARN (Example, arn:aws:iam::<Account ID>:role/ExampleRole>"
       },
       "Resource": {
           "Catalog": {
               "Id":"<Account ID>:s3tablescatalog/amzn-s3-demo-bucket"
           }
       },
       "Permissions": ["ALL"]
   }'

Senden Sie Abfragen für S3-Tabellen

1. Reichen Sie eine CREATE DATABASE Anfrage von Athena mit dem oben gewährten Benutzer/der oben gewährten Rolle ein. In diesem Beispiel s3tablescatalog wird der übergeordnete Glue-Datenkatalog aus der Integration erstellt und s3tablescatalog/amzn-s3-demo-bucket ist der untergeordnete Glue-Datenkatalog, der für jeden S3-Tabellen-Bucket erstellt wurde. Es gibt zwei Möglichkeiten, Abfragen durchzuführen.

   Option 1

   Geben Sie den untergeordneten Glue-Datenkatalog (s3tablescatalog/amzn-s3-demo-bucket) direkt von der Konsole aus an oder AWS CLI.

   Verwenden AWS Management Console

   1. Öffnen Sie die Athena-Konsole unter https://console.aws.amazon.com/athena/.

   2. Wählen Sie in der linken Navigationsleiste für Datenquellenname die Option AwsDataCatalog.

   3. Wählen Sie für Catalog die Option amzn-s3-demo-buckets3tablescatalog/ aus.

   4. Geben Sie im Abfrage-Editor eine Abfrage wie ein. CREATE DATABASE test_namespace

   Verwenden AWS CLI

   Führen Sie den folgenden Befehl aus.

   aws athena start-query-execution \ 
   --query-string 'CREATE DATABASE `test_namespace`' \ 
   --query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket"}' \
   --work-group "primary"

   Option 2

   Erstellen Sie den Athena-Datenkatalog aus dem untergeordneten Glue-Datenkatalog in der Athena-Konsole und geben Sie ihn als Katalog in der Abfrage an. Weitere Informationen finden Sie unter Registrieren Sie S3-Tabellen-Bucket-Kataloge als Athena-Datenquellen.

2. Verwenden Sie die Datenbank, die Sie im vorherigen Schritt erstellt haben, um eine CREATE TABLE Tabelle zu erstellen. Das folgende Beispiel erstellt eine Tabelle in der test_namespace Datenbank, die Sie zuvor im s3tablescatalog/amzn-s3-demo-bucket Glue-Katalog erstellt haben.

   AWS Management Console

   1. Wählen Sie in der linken Navigationsleiste für Datenquellenname die Option AwsDataCatalog.

   2. Wählen Sie für Catalog die Option amzn-s3-demo-buckets3tablescatalog/ aus.

   3. Wählen Sie für Datenbank test_namespace aus.

   4. Führen Sie im Abfrage-Editor die folgende Abfrage aus.

      CREATE TABLE daily_sales (
              sale_date date,
              product_category
              string, sales_amount double)
      PARTITIONED BY (month(sale_date))
      TBLPROPERTIES ('table_type' = 'iceberg')

   AWS CLI

   Führen Sie den folgenden Befehl aus.

   aws athena start-query-execution \
   --query-string "CREATE TABLE daily_sales (
           sale_date date,
           product_category
           string, sales_amount double)
   PARTITIONED BY (month(sale_date))
   TBLPROPERTIES ('table_type' = 'iceberg')" \
   --query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket", "Database":"test_namespace"}' \
   --work-group "primary"

3. Fügen Sie Daten in die Tabelle ein, die Sie im vorherigen Schritt erstellt haben.

   AWS Management Console

   1. Wählen Sie in der linken Navigationsleiste für Datenquellenname die Option AwsDataCatalog.

   2. Wählen Sie für Catalog die Option amzn-s3-demo-buckets3tablescatalog/ aus.

   3. Wählen Sie für Datenbank test_namespace aus.

   4. Führen Sie im Abfrage-Editor die folgende Abfrage aus.

      INSERT INTO daily_sales
      VALUES 
          (DATE '2024-01-15', 'Laptop', 900.00),
          (DATE '2024-01-15', 'Monitor', 250.00),
          (DATE '2024-01-16', 'Laptop', 1350.00),
          (DATE '2024-02-01', 'Monitor', 300.00);

   AWS CLI

   Führen Sie den folgenden Befehl aus.

   aws athena start-query-execution \
   --query-string "INSERT INTO \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
   VALUES 
   (DATE '2024-01-15', 'Laptop', 900.00),
   (DATE '2024-01-15', 'Monitor', 250.00),
   (DATE '2024-01-16', 'Laptop', 1350.00),
   (DATE '2024-02-01', 'Monitor', 300.00)"\ 
   --work-group "primary"

4. Nachdem Sie Daten in die Tabelle eingefügt haben, können Sie sie abfragen.

   AWS Management Console

   1. Wählen Sie in der linken Navigationsleiste unter Datenquellenname die Option AwsDataCatalog.

   2. Wählen Sie für Catalog die Option amzn-s3-demo-buckets3tablescatalog/ aus.

   3. Wählen Sie für Datenbank test_namespace aus.

   4. Führen Sie im Abfrage-Editor die folgende Abfrage aus.

      SELECT
          product_category,
          COUNT(*) AS units_sold,
          SUM(sales_amount) AS total_revenue,
          AVG(sales_amount) AS average_price
      FROM
          daily_sales
      WHERE
          sale_date BETWEEN DATE '2024-02-01' 
                       AND DATE '2024-02-29'
      GROUP BY
          product_category
      ORDER BY
          total_revenue DESC    

   AWS CLI

   Führen Sie den folgenden Befehl aus.

   aws athena start-query-execution \
   --query-string "SELECT product_category,
       COUNT(*) AS units_sold,
       SUM(sales_amount) AS total_revenue,
       AVG(sales_amount) AS average_price
   FROM \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
   WHERE sale_date BETWEEN DATE '2024-02-01' AND DATE '2024-02-29'
   GROUP BY product_category
   ORDER BY total_revenue DESC"\
   --work-group "primary"

Erstellen Sie S3-Tabellen in Athena

Athena unterstützt das Erstellen von Tabellen in vorhandenen S3-Tabellen-Namespaces oder in Athena erstellten Namespaces mit Anweisungen. CREATE DATABASE Um eine S3-Tabelle aus Athena zu erstellen, ist die Syntax dieselbe wie beim Erstellen einer regulären Iceberg-Tabelle, außer dass Sie die nicht angebenLOCATION, wie im folgenden Beispiel gezeigt.

CREATE TABLE
[db_name.]table_name (col_name data_type [COMMENT col_comment] [, ...] )
[PARTITIONED BY (col_name | transform, ... )]
[TBLPROPERTIES ([, property_name=property_value] )] 

Sie können S3-Tabellen auch mit CREATE TABLE AS SELECT (CTAS) -Anweisungen erstellen. Weitere Informationen finden Sie unter CTAS für S3-Tabellen.

Registrieren Sie S3-Tabellen-Bucket-Kataloge als Athena-Datenquellen

Gehen Sie wie folgt vor, um S3-Table-Bucket-Kataloge bei der Athena-Konsole zu registrieren.

1. Öffnen Sie die Athena-Konsole unter https://console.aws.amazon.com/athena/.

2. Wählen Sie im Navigationsbereich Datenquellen und Kataloge aus.

3. Wählen Sie auf der Seite Datenquellen und Kataloge die Option Datenquelle erstellen aus.

4. Wählen Sie für Wählen Sie eine Datenquelle die Option Amazon S3 - AWS Glue Data Catalog.

5. Wählen Sie im AWS Glue Data CatalogAbschnitt Datenquellenkonto die Option AWS Glue Data Catalog In diesem Konto aus.

6. Wählen Sie für Tabelle erstellen oder Katalog registrieren die Option Neuen AWS Glue Katalog registrieren aus.

7. Geben Sie im Abschnitt Datenquellendetails für Datenquellenname den Namen ein, mit dem Sie die Datenquelle in Ihren SQL-Abfragen angeben möchten, oder verwenden Sie den generierten Standardnamen.

8. Wählen Sie für Katalog die Option Durchsuchen aus, um nach einer Liste von AWS Glue Katalogen im selben Konto zu suchen. Wenn Sie keine vorhandenen Kataloge sehen, erstellen Sie einen in AWS Glue der Konsole.

9. Wählen Sie im Dialogfeld AWS Glue Kataloge durchsuchen den Katalog aus, den Sie verwenden möchten, und klicken Sie dann auf Auswählen.

10. (Optional) Geben Sie unter Tags alle key/value Paare ein, die Sie der Datenquelle zuordnen möchten.

11. Wählen Sie Weiter aus.

12. Vergewissern Sie sich auf der Seite Überprüfen und erstellen, dass die von Ihnen eingegebenen Informationen korrekt sind, und wählen Sie dann Datenquelle erstellen aus.

CTAS für S3-Tabellen

Amazon Athena unterstützt jetzt CREATE TABLE AS SELECT (CTAS) -Operationen für S3-Tabellen. Mit dieser Funktion können Sie neue S3-Tabellen auf der Grundlage der Ergebnisse einer SELECT-Abfrage erstellen.

Bei der Erstellung einer CTAS-Abfrage für eine S3-Tabelle gibt es einige wichtige Unterschiede zu Standard-Athena-Tabellen:

• Sie müssen die Eigenschaft location weglassen, da S3-Tabellen ihre eigenen Speicherorte automatisch verwalten.

• Die table_type Eigenschaft ist standardmäßig auf ICEBERG voreingestellt, sodass Sie sie in Ihrer Abfrage nicht explizit angeben müssen.

• Wenn Sie kein Format angeben, verwendet PARQUET das System automatisch das Standardformat für Ihre Daten.

• Alle anderen Eigenschaften folgen derselben Syntax wie normale Iceberg-Tabellen.

Bevor Sie S3-Tabellen mit CTAS erstellen, stellen Sie sicher, dass Sie die erforderlichen Berechtigungen in konfiguriert haben. AWS Lake Formation Insbesondere benötigen Sie Berechtigungen, um Tabellen im S3-Tables-Katalog zu erstellen. Ohne diese Berechtigungen schlagen Ihre CTAS-Operationen fehl.

Anmerkung

Wenn Ihre CTAS-Abfrage fehlschlägt, müssen Sie möglicherweise Ihre Tabelle mithilfe der S3 Tables-API löschen, bevor Sie versuchen, Ihre Abfrage erneut auszuführen. Sie können die DROP TABLE Athena-Anweisungen nicht verwenden, um die Tabelle zu entfernen, die teilweise durch die Abfrage erstellt wurde.

Beispiel

CREATE TABLE "s3tablescatalog/amzn-s3-demo-bucket"."namespace"."s3-table-name"
WITH (
    format = 'PARQUET'
)
AS SELECT *
FROM source_table;