Problemas conhecidos da EMR integração com a Amazon

Problemas conhecidos

Há um problema conhecido na EMR versão 5.32 da Amazon em que as permissões hive-site.xml foram alteradas para que somente usuários privilegiados possam lê-la, pois pode haver credenciais armazenadas nela. Isso pode impedir que o Hue leia hive-site.xml e fazer com que as páginas da Web sejam recarregadas continuamente. Se você tiver esse problema, adicione esta configuração para corrigir o problema:

[
  {
    "Classification": "hue-ini",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "desktop",
        "Properties": {
          "server_group":"hive_site_reader"
         },
        "Configurations":[
        ]
      }
    ]
  }
]

Há um problema conhecido de que o plug-in EMRFS S3 para Apache Ranger atualmente não suporta o recurso Security Zone do Apache Ranger. As restrições de controle de acesso definidas usando o recurso Security Zone não são aplicadas aos seus EMR clusters da Amazon.

Aplicação UIs

Por padrão, as IUs de aplicações não realizam autenticação. Isso inclui a ResourceManager interface do usuário, a NodeManager interface do usuário, a interface do usuário Livy, entre outras. Além disso, qualquer usuário que tenha a capacidade de acessar o UIs é capaz de visualizar informações sobre os trabalhos de todos os outros usuários.

Se esse comportamento não for desejado, você deve garantir que um grupo de segurança seja usado para restringir o acesso dos usuários UIs ao aplicativo.

HDFSPermissões padrão

Por padrão, os objetos que os usuários criam HDFS recebem permissões legíveis em todo o mundo. Isso poderá tornar os dados legíveis por usuários que não deveriam ter acesso a eles. Para alterar esse comportamento de modo que as permissões de arquivo padrão sejam definidas para leitura e gravação somente pelo criador do trabalho, execute as etapas a seguir.

Ao criar seu EMR cluster, forneça a seguinte configuração:

[
  {
    "Classification": "hdfs-site",
    "Properties": {
      "dfs.namenode.acls.enabled": "true",
      "fs.permissions.umask-mode": "077",
      "dfs.permissions.superusergroup": "hdfsadmingroup"
    }
  }
]

Além disso, execute esta ação de bootstrap:

--bootstrap-actions Name='HDFS UMask Setup',Path=s3://elasticmapreduce/hdfs/umask/umask-main.sh