Consideraciones sobre Amazon EMR con Lake Formation

Tenga en cuenta lo siguiente cuando utilice Amazon EMR con. AWS Lake Formation

Amazon EMR with Lake Formation está disponible en todas las regiones disponibles.

• Amazon EMR admite un control de acceso detallado a través de Lake Formation solo para las tablas Apache Hive y Apache Iceberg. Los formatos de Apache Hive incluyen Parquet, ORC y xSV.

• No puede desactivar DynamicResourceAllocation para los trabajos de Lake Formation.

• Solo puede utilizar Lake Formation con trabajos de Spark.

• Amazon EMR con Lake Formation solo admite una sola sesión de Spark durante un trabajo.

• Amazon EMR con Lake Formation solo admite consultas de tablas entre cuentas compartidas a través de enlaces de recursos.

• Lo siguiente no es compatible:

  • Conjuntos de datos distribuidos resilientes (RDD)

  • Streaming de Spark

  • Lectura con permisos concedidos de Lake Formation

  • Control de acceso para columnas anidadas

• Amazon EMR bloquea las funcionalidades que podrían socavar el aislamiento total del controlador del sistema, incluidas las siguientes:

  • UDTs, Hive UDFs y cualquier función definida por el usuario que incluya clases personalizadas

  • Orígenes de datos personalizados

  • Suministro de archivos jar adicionales para la extensión, el conector o el metaalmacén de Spark

  • ANALYZE TABLE command

• Para hacer cumplir los controles de acceso, EXPLAIN PLAN y las operaciones de DDL, como DESCRIBE TABLE, no exponen información restringida.

• Amazon EMR restringe el acceso a los registros de Spark del controlador del sistema en las aplicaciones habilitadas para Lake Formation. Dado que el controlador del sistema se ejecuta con permisos elevados, los eventos y registros que genera el controlador del sistema pueden incluir información confidencial. Para evitar que usuarios o códigos no autorizados accedan a estos datos confidenciales, Amazon EMR deshabilita el acceso a los registros de controladores del sistema.

  Los registros de los perfiles del sistema siempre se conservan en el almacenamiento gestionado; se trata de una configuración obligatoria que no se puede desactivar. Estos registros se almacenan de forma segura y se cifran mediante una clave de KMS gestionada por el cliente o una clave de KMS AWS gestionada.

  Si su aplicación de Amazon EMR se encuentra en una subred privada con puntos de enlace de VPC para Amazon S3 y adjunta una política de puntos de enlace para controlar el acceso, antes de que sus trabajos puedan enviar datos de registro a AWS Amazon S3 gestionado, debe incluir los permisos detallados en Almacenamiento gestionado en su política de VPC al punto de enlace de puerta de enlace de S3. Para solicitudes de solución de problemas, póngase en contacto con el soporte. AWS

• Si ha registrado una ubicación de tabla en Lake Formation, la ruta de acceso a los datos pasa por las credenciales almacenadas de Lake Formation, independientemente del permiso de IAM para la función de ejecución de tareas de Amazon EMR. Si configura incorrectamente el rol registrado con la ubicación de la tabla, los trabajos enviados que usen el rol con permisos de IAM de S3 para la ubicación de la tabla fallarán.

• Para escribir en una tabla de Lake Formation se utiliza el permiso de IAM en lugar de los permisos concedidos por Lake Formation. Si el rol de tiempo de ejecución de su trabajo tiene los permisos de S3 necesarios, puede usarlo para ejecutar operaciones de escritura.

A continuación, se indican las consideraciones y limitaciones cuando se utiliza Apache Iceberg:

• Solo puede usar Apache Iceberg con el catálogo de sesiones y no con catálogos con nombres arbitrarios.

• Las tablas de Iceberg que están registradas en Lake Formation solo admiten las tablas de metadatos history, metadata_log_entries, snapshots, files, manifests y refs. Amazon EMR oculta las columnas que pueden contener datos confidenciales, como partitions, path y summaries. Esta limitación no se aplica a las tablas de Iceberg que no estén registradas en Lake Formation.

• Las tablas que no se registran en Lake Formation admiten todos los procedimientos almacenados de Iceberg. Los procedimientos register_table y migrate no son compatibles con ninguna tabla.

• Le recomendamos que utilice Iceberg DataFrameWriter V2 en lugar de V1.

• EMR 7.10 proporciona una forma de volver a RecordServer utilizar funciones compatibles con el FGAC nativo RecordServer, pero que aún no lo son, como la reescritura en las tablas registradas de Lake Formation. Para volver a la versión anterior, especifique las siguientes configuraciones al lanzar el clúster.

  {
      "Classification": "spark-defaults",
      "Properties": {
        "spark.emr.lakeformation.legacy.enabled": "true"
      }
    },
    {
      "Classification": "yarn-site",
      "Properties": {
        "spark.emr.lakeformation.legacy.enabled": "true"
      }
    }