Considérations relatives à Amazon EMR avec Lake Formation

Tenez compte des points suivants lorsque vous utilisez Amazon EMR avec. AWS Lake Formation

Amazon EMR with Lake Formation est disponible dans toutes les régions disponibles.

• Amazon EMR prend en charge le contrôle d'accès précis via Lake Formation uniquement pour les tables Apache Hive et Apache Iceberg. Les formats Apache Hive incluent Parquet, ORC et XSv.

• Vous ne pouvez pas vous DynamicResourceAllocation désinscrire des jobs de Lake Formation.

• Vous ne pouvez utiliser Lake Formation qu'avec des tâches Spark.

• Amazon EMR with Lake Formation ne prend en charge qu'une seule session Spark tout au long d'une tâche.

• Amazon EMR with Lake Formation prend uniquement en charge les requêtes de table entre comptes partagées via des liens de ressources.

• Les éléments suivants ne sont pas pris en charge :

  • Ensembles de données distribués résilients (RDD)

  • Streaming Spark

  • Écrivez avec les autorisations accordées à Lake Formation

  • Contrôle d'accès pour les colonnes imbriquées

• Amazon EMR bloque les fonctionnalités susceptibles de compromettre l'isolation complète du pilote système, notamment les suivantes :

  • UDTs, Hive UDFs et toute fonction définie par l'utilisateur impliquant des classes personnalisées

  • Sources de données personnalisées

  • Fourniture de fichiers JAR supplémentaires pour l'extension, le connecteur ou le metastore Spark

  • ANALYZE TABLE commande

• Pour appliquer les contrôles d'accès EXPLAIN PLAN et les opérations DDL telles que le fait de DESCRIBE TABLE ne pas exposer les informations restreintes.

• Amazon EMR restreint l'accès aux journaux Spark du pilote système sur les applications compatibles avec Lake Formation. Étant donné que le pilote système s'exécute avec des autorisations élevées, les événements et les journaux générés par le pilote système peuvent inclure des informations sensibles. Pour empêcher les utilisateurs ou le code non autorisés d'accéder à ces données sensibles, Amazon EMR désactive l'accès aux journaux des pilotes du système.

  Les journaux des profils système sont toujours conservés dans le stockage géré. Il s'agit d'un paramètre obligatoire qui ne peut pas être désactivé. Ces journaux sont stockés de manière sécurisée et chiffrés à l'aide d'une clé KMS gérée par le client ou d'une clé KMS AWS gérée.

  Si votre application Amazon EMR se trouve dans un sous-réseau privé doté de points de terminaison VPC pour Amazon S3 et que vous associez une politique de point de terminaison pour contrôler l'accès, avant que vos tâches puissent envoyer des données de journal à AWS Amazon S3 géré, vous devez inclure les autorisations détaillées dans Stockage géré dans votre politique VPC pour le point de terminaison de passerelle S3. Pour toute demande de dépannage, contactez AWS le support.

• Si vous avez enregistré l'emplacement d'une table auprès de Lake Formation, le chemin d'accès aux données passe par les informations d'identification stockées dans Lake Formation, indépendamment de l'autorisation IAM pour le rôle d'exécution de la tâche Amazon EMR. Si vous configurez mal le rôle enregistré avec l'emplacement de la table, les tâches soumises qui utilisent le rôle avec l'autorisation S3 IAM sur l'emplacement de la table échoueront.

• L'écriture dans une table Lake Formation utilise l'autorisation IAM plutôt que les autorisations accordées par Lake Formation. Si votre rôle d'exécution de tâches dispose des autorisations S3 nécessaires, vous pouvez l'utiliser pour exécuter des opérations d'écriture.

Les considérations et les limites suivantes sont à prendre en compte lors de l'utilisation d'Apache Iceberg :

• Vous ne pouvez utiliser Apache Iceberg qu'avec un catalogue de sessions et non avec des catalogues nommés arbitrairement.

• Les tables Iceberg enregistrées dans Lake Formation ne prennent en charge que les tables de métadonnées historymetadata_log_entries,snapshots,, filesmanifests, etrefs. Amazon EMR masque les colonnes susceptibles de contenir des données sensibles, telles que partitionspath, et. summaries Cette limitation ne s'applique pas aux tables Iceberg qui ne sont pas enregistrées dans Lake Formation.

• Les tables que vous n'enregistrez pas dans Lake Formation prennent en charge toutes les procédures stockées par Iceberg. Les migrate procédures register_table et ne sont prises en charge pour aucune table.

• Nous vous recommandons d'utiliser Iceberg DataFrameWriter V2 au lieu de V1.

• EMR 7.10 permet de revenir à EMR RecordServer si vous souhaitez utiliser des fonctionnalités prises en charge par le FGAC natif RecordServer, mais pas encore prises en charge par celui-ci, telles que la rétroécriture dans les tables enregistrées de Lake Formation. Pour revenir en arrière, spécifiez les configurations suivantes lors du lancement du cluster.

  {
      "Classification": "spark-defaults",
      "Properties": {
        "spark.emr.lakeformation.legacy.enabled": "true"
      }
    },
    {
      "Classification": "yarn-site",
      "Properties": {
        "spark.emr.lakeformation.legacy.enabled": "true"
      }
    }