Amazon EMR 與 Lake Formation 的注意事項 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon EMR 與 Lake Formation 的注意事項

EMR搭配使用 Amazon 時，請考慮以下幾點 AWS Lake Formation。

  • Amazon 6.13 及更高EMR版本的叢集提供表格層級存取控制。

  • Amazon 6.15 及更高EMR版本的叢集提供列、欄和儲存格層級的精細存取控制。

  • 有權存取資料表的使用者可以存取該資料表的所有屬性。如果您對某資料表具有 Lake Formation 型存取控制，請檢閱此資料表以確保屬性不包含任何敏感資料或資訊。

  • 具有 Lake Formation 的 Amazon EMR 集群不支持 Spark 收集表統計信息HDFS時的回退。這通常有助於優化查詢效能。

  • 支援基於 Lake Formation 與非控管 Apache Spark 資料表之存取控制的操作包括 INSERT INTO 和 INSERT OVERWRITE。

  • 支援基於 Lake Formation 與 Apache Spark 和 Apache Hive 的存取控制的操作包括 SELECT、DESCRIBE、SHOW DATABASE、SHOW TABLE、SHOW COLUMN 和 SHOW PARTITION。

  • Amazon EMR 不支持對以下基於 Lake Formation 的操作的訪問控制：

    • 寫入受控管資料表

    • Amazon EMR 不支持CREATE TABLE。Amazon EMR 6.10.0 及更高版本的支持。ALTER TABLE

    • DMLINSERT指令以外的陳述式。

  • 使用和不使用 Lake Formation 型存取控制的相同查詢之間存在效能差異。

  • 您只能將 Amazon EMR 與湖泊陣型一起使用來完成 Spark 工作。