從 Athena 註冊 S3 資料表儲存貯體目錄和查詢資料表

Amazon S3 資料表儲存貯體是 Amazon S3 中的儲存貯體類型，專為在 Apache Iceberg 資料表中存放表格式資料而打造。資料表儲存貯體可自動化壓縮、快照管理和垃圾收集等資料表管理任務，以持續最佳化查詢效能並將成本降至最低。無論您是剛開始，還是在 Iceberg 環境中有數千個資料表，資料表儲存貯體都可以簡化任何規模的資料湖。如需詳細資訊，請參閱資料表儲存貯體。

考量與限制

• S3 Tables 支援 Iceberg 資料表支援的所有 DDL 操作，但有下列例外：

  • ALTER TABLE RENAMEALTER DATABASE不支援 CREATE VIEW、 和 。

  • OPTIMIZE 和 VACUUM – 您可以在 S3 中管理壓縮和快照管理。如需詳細資訊，請參閱 S3 Tables 維護文件。

• 不支援對註冊為 Athena 資料來源的 S3 Tables 進行 DDL 查詢。

• 不支援重複使用查詢結果。

• 在已啟用 SSE-KMS、CSE-KMS 加密的工作群組中，您無法在 S3 Tables MERGE上執行寫入操作INSERT，例如 DELETE、、 UPDATE或 。

• 在已啟用 S3 申請者付款選項的工作群組中，您無法在 S3 資料表上執行 DML 操作。

從 Athena 查詢 S3 資料表

在 Athena 中查詢 S3 資料表之前，請先完成這些先決條件步驟

1. 建立 S3 資料表儲存貯體。如需詳細資訊，請參閱《Amazon Simple Storage Service 使用者指南》中的建立資料表儲存貯體。

2. 請確定您的資料表儲存貯體與 AWS Glue Data Catalog 和 整合 AWS Lake Formation 成功，方法是遵循 Amazon Simple Storage Service 使用者指南中的整合和將資料表儲存貯體與 AWS 分析服務整合的先決條件。

   注意

   如果您在步驟 1 中從 S3 主控台建立 S3 資料表儲存貯體時啟用整合，則可以略過此步驟。

3. 對於您使用 Athena 執行查詢的委託人，請透過 Lake Formation 主控台或 授予 S3 Table 目錄的 Lake Formation 許可 AWS CLI。

   AWS Management Console

   1. 開啟位於 的 AWS Lake Formation 主控台https://console.aws.amazon.com/lakeformation/，並以資料湖管理員身分登入。如需如何建立資料湖管理員的詳細資訊，請參閱建立資料湖管理員。

   2. 在導覽窗格中，選擇資料許可，然後選擇授予。

   3. 在授予許可頁面的委託人下，選擇要用來從 Athena 提交查詢的委託人。

   4. 在 LF-標籤或型錄資源下，選擇已命名的的資料型錄資源。

   5. 針對目錄，請選擇您從資料表儲存貯體整合中建立的 Glue 資料目錄。例如，<accoundID>：s3tablescatalog/amzn-s3-demo-bucket。

   6. 針對目錄許可，選擇超級。

   7. 選擇 Grant (授予)。

   AWS CLI

   使用 Lake Formation 資料湖管理員角色執行下列命令，以授予存取您用來從 Athena 提交查詢的委託人。

   aws lakeformation grant-permissions \
   --region <region (Example,us-east-1)> \
   --cli-input-json \
   '{
       "Principal": {
           "DataLakePrincipalIdentifier": "<user or role ARN (Example, arn:aws:iam::<Account ID>:role/ExampleRole>"
       },
       "Resource": {
           "Catalog": {
               "Id":"<Account ID>:s3tablescatalog/amzn-s3-demo-bucket"
           }
       },
       "Permissions": ["ALL"]
   }'

提交 S3 資料表的查詢

1. 使用上述授予的使用者/角色從 Athena 提交CREATE DATABASE查詢。在此範例中， s3tablescatalog是從整合建立的父 Glue Data Catalog s3tablescatalog/amzn-s3-demo-bucket，也是為每個 S3 資料表儲存貯體建立的子 Glue Data Catalog。有兩種方式可以查詢。

   Option 1

   直接從主控台或 指定子 Glue Data Catalog (s3tablescatalog/amzn-s3-demo-bucket) AWS CLI。

   使用 AWS Management Console

   1. 前往 https://console.aws.amazon.com/athena/ 開啟 Athena 主控台。

   2. 在左側導覽中，針對資料來源名稱，選擇 AwsDataCatalog。

   3. 針對目錄，選擇 s3tablescatalog/amzn-s3-demo-bucket。

   4. 在查詢編輯器中，輸入類似 的查詢CREATE DATABASE test_namespace。

   使用 AWS CLI

   執行下列命令。

   aws athena start-query-execution \ 
   --query-string 'CREATE DATABASE `test_namespace`' \ 
   --query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket"}' \
   --work-group "primary"

   Option 2

   從 Athena 主控台中的子 Glue Data Catalog 建立 Athena 資料目錄，並在查詢中將其指定為目錄。如需詳細資訊，請參閱將 S3 資料表儲存貯體目錄註冊為 Athena 資料來源。

2. 使用您在上一個步驟中建立的資料庫，使用 來CREATE TABLE建立資料表。下列範例會在您先前在 Glue s3tablescatalog/amzn-s3-demo-bucket 目錄中建立的test_namespace資料庫中建立資料表。

   AWS Management Console

   1. 在左側導覽中，針對資料來源名稱，選擇 AwsDataCatalog。

   2. 針對目錄，選擇 s3tablescatalog/amzn-s3-demo-bucket。

   3. 針對資料庫，選擇 test_namespace。

   4. 在查詢編輯器中，執行下列查詢。

      CREATE TABLE daily_sales (
              sale_date date,
              product_category
              string, sales_amount double)
      PARTITIONED BY (month(sale_date))
      TBLPROPERTIES ('table_type' = 'iceberg')

   AWS CLI

   執行下列命令。

   aws athena start-query-execution \
   --query-string "CREATE TABLE daily_sales (
           sale_date date,
           product_category
           string, sales_amount double)
   PARTITIONED BY (month(sale_date))
   TBLPROPERTIES ('table_type' = 'iceberg')" \
   --query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket", "Database":"test_namespace"}' \
   --work-group "primary"

3. 將資料插入您在上一個步驟中建立的資料表。

   AWS Management Console

   1. 在左側導覽中，針對資料來源名稱，選擇 AwsDataCatalog。

   2. 針對目錄，選擇 s3tablescatalog/amzn-s3-demo-bucket。

   3. 針對資料庫，選擇 test_namespace。

   4. 在查詢編輯器中，執行下列查詢。

      INSERT INTO daily_sales
      VALUES 
          (DATE '2024-01-15', 'Laptop', 900.00),
          (DATE '2024-01-15', 'Monitor', 250.00),
          (DATE '2024-01-16', 'Laptop', 1350.00),
          (DATE '2024-02-01', 'Monitor', 300.00);

   AWS CLI

   執行下列命令。

   aws athena start-query-execution \
   --query-string "INSERT INTO \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
   VALUES 
   (DATE '2024-01-15', 'Laptop', 900.00),
   (DATE '2024-01-15', 'Monitor', 250.00),
   (DATE '2024-01-16', 'Laptop', 1350.00),
   (DATE '2024-02-01', 'Monitor', 300.00)"\ 
   --work-group "primary"

4. 將資料插入資料表後，您可以進行查詢。

   AWS Management Console

   1. 在左側導覽中，針對資料來源名稱，選擇 AwsDataCatalog。

   2. 針對目錄，選擇 s3tablescatalog/amzn-s3-demo-bucket。

   3. 針對資料庫，選擇 test_namespace。

   4. 在查詢編輯器中，執行下列查詢。

      SELECT
          product_category,
          COUNT(*) AS units_sold,
          SUM(sales_amount) AS total_revenue,
          AVG(sales_amount) AS average_price
      FROM
          daily_sales
      WHERE
          sale_date BETWEEN DATE '2024-02-01' 
                       AND DATE '2024-02-29'
      GROUP BY
          product_category
      ORDER BY
          total_revenue DESC    

   AWS CLI

   執行下列命令。

   aws athena start-query-execution \
   --query-string "SELECT product_category,
       COUNT(*) AS units_sold,
       SUM(sales_amount) AS total_revenue,
       AVG(sales_amount) AS average_price
   FROM \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
   WHERE sale_date BETWEEN DATE '2024-02-01' AND DATE '2024-02-29'
   GROUP BY product_category
   ORDER BY total_revenue DESC"\
   --work-group "primary"

在 Athena 中建立 S3 資料表

Athena 支援在現有的 S3 Table 命名空間中建立資料表，或在 Athena 中使用 CREATE DATABASE陳述式建立的命名空間中建立資料表。若要從 Athena 建立 S3 資料表，語法與建立一般 Iceberg 資料表時相同，除非您未指定 LOCATION，如下列範例所示。

CREATE TABLE
[db_name.]table_name (col_name data_type [COMMENT col_comment] [, ...] )
[PARTITIONED BY (col_name | transform, ... )]
[TBLPROPERTIES ([, property_name=property_value] )] 

您也可以使用 CREATE TABLE AS SELECT (CTAS) 陳述式建立 S3 資料表。如需詳細資訊，請參閱S3 資料表的 CTAS。

將 S3 資料表儲存貯體目錄註冊為 Athena 資料來源

若要向 Athena 主控台註冊 S3 資料表儲存貯體目錄，請執行下列步驟。

1. 前往 https://console.aws.amazon.com/athena/ 開啟 Athena 主控台。

2. 在導覽窗格中，選擇資料來源和目錄。

3. 在資料來源和目錄頁面上，選擇建立資料來源。

4. 針對選擇資料來源，選擇 Amazon S3 - AWS Glue Data Catalog。

5. 在 AWS Glue Data Catalog區段中，針對資料來源帳戶，選擇AWS Glue Data Catalog 此帳戶中的 。

6. 針對建立資料表或註冊目錄，選擇註冊新的 AWS Glue 目錄。

7. 在資料來源詳細資訊區段中，針對資料來源名稱，輸入您要用來在 SQL 查詢中指定資料來源的名稱，或使用產生的預設名稱。

8. 針對目錄，選擇瀏覽以搜尋相同帳戶中的 AWS Glue 目錄清單。如果您沒有看到任何現有的目錄，請在 AWS Glue 主控台中建立一個目錄。

9. 在瀏覽 AWS Glue 目錄對話方塊中，選取您要使用的目錄，然後選擇選擇。

10. （選用） 針對標籤，輸入您要與資料來源建立關聯的任何鍵/值對。

11. 選擇下一步。

12. 在檢閱和建立頁面上，確認您輸入的資訊正確無誤，然後選擇建立資料來源。

S3 資料表的 CTAS

Amazon Athena 現在支援 S3 Tables 的 CREATE TABLE AS SELECT (CTAS) 操作。此功能可讓您根據 SELECT 查詢的結果建立新的 S3 資料表。

為 S3 資料表建立 CTAS 查詢時，與標準 Athena 資料表相比，有一些重要的差異：

• 您必須省略位置屬性，因為 S3 Tables 會自動管理自己的儲存位置。

• table_type 屬性預設為 ICEBERG，因此您不需要在查詢中明確指定它。

• 如果您未指定格式，系統會自動使用 PARQUET做為資料的預設格式。

• 所有其他屬性都遵循與一般 Iceberg 資料表相同的語法。

使用 CTAS 建立 S3 資料表之前，請確定您已在其中設定必要的許可 AWS Lake Formation。具體而言，您需要許可才能在 S3 Tables 目錄中建立資料表。如果沒有這些許可，您的 CTAS 操作將會失敗。

注意

如果您的 CTAS 查詢失敗，在嘗試重新執行查詢之前，您可能必須使用 S3 Tables API 刪除資料表。您無法使用 Athena DROP TABLE陳述式來移除查詢部分建立的資料表。

範例

CREATE TABLE "s3tablescatalog/amzn-s3-demo-bucket"."namespace"."s3-table-name"
WITH (
    format = 'PARQUET'
)
AS SELECT *
FROM source_table;