EMRfalha no provisionamento do cluster

Há vários motivos pelos quais um EMR cluster da Amazon pode falhar ao iniciar. Veja aqui algumas maneiras de diagnosticar o problema.

Verifique os EMR registros de provisionamento

A Amazon EMR usa o Puppet para instalar e configurar aplicativos em um cluster. A análise dos logs fornecerá detalhes sobre a ocorrência de erros durante a fase de provisionamento de um cluster. Os logs podem ser acessados no cluster ou no S3 se os logs estiverem configurados para serem enviados ao S3.

Os logs são armazenados em /var/log/provision-node/apps-phase/0/{UUID}/puppet.log no disco e em s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/provision-node/apps-phase/0/{UUID}/puppet.log.gz.

Mensagens de erro comuns

Mensagem de erro	Causa
Puppet (err): Falha na inicialização do Systemd! emr-record-server registro journalctl para: emr-record-server	EMRFalha ao iniciar o servidor de registros. Consulte os EMR registros do Record Server abaixo.
Puppet (err): Falha na inicialização do Systemd! emr-record-server registro journalctl para emrsecretagent:	EMRO agente secreto não conseguiu iniciar. Veja abaixo os logs do agente secreto.
/Stage [main]/Ranger_plugins::Ranger_hive_plugin/Ranger_plugins::Prepare_two_way_tls[configure 2-way TLS in Hive plugin]/Exec[create keystore and truststore for Ranger Hive plugin]/returns(aviso): 140408606197664:Error:0906d06c: rotinas: _read_bio:no start-line: pem_lib.c:707:Esperando: PEM PEM ANY PRIVATE KEY	O TLS certificado privado no Secret Manager para o certificado do plug-in Apache Ranger não está no formato correto ou não é um certificado privado. Consulte TLScertificados para integração do Apache Ranger com a Amazon EMR para ver os formatos de certificado.
/Stage [main]/Ranger_plugins::Ranger_s3_plugin/Ranger_plugins::Prepare_two_way_tls[configure 2-way TLS in Ranger s3 plugin]/Exec[create keystore and truststore for Ranger amazon-emr-s3 plugin]/returns (notice): An error occurred (AccessDeniedException) when calling the GetSecretValue operation: User: arn:aws:sts::XXXXXXXXXXX:assumed-role/EMR_EC2_DefaultRole/i- não XXXXXXXXXXXX está autorizado a executar: secretsmanager: GetSecretValue no recurso: arn:aws:secretsmanager:us-east-1 ::secret: - XXXXXXXXXX AdminServer XXXXX	A função de perfil da EC2 instância não tem as permissões corretas para recuperar os TLS certificados do Secrets Agent.

Verifique SecretAgent os registros

Os registros do Secret Agent estão localizados /emr/secretagent/log/ em um EMR nó ou no s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/daemons/secretagent/ diretório no S3.

Mensagens de erro comuns

Mensagem de erro	Causa
Exceção no tópico “main” com.amazonaws.services.securitytoken.model. AWSSecurityTokenServiceException: Usuário: arn:aws:sts: ::assumed XXXXXXXXXXXX - - XXXXXXXXXXXXXXX não role/EMR_EC2_DefaultRole/i está autorizado a executar: sts: no AssumeRole recurso: arn:aws:iam: ::role/* XXXXXXXXXXXX (RangerPluginDataAccessRoleServiço:; Código de status: 403; AWSSecurityTokenService Código de erro:; ID da solicitação: - - - -; Proxy: null) AccessDenied XXXXXXXX XXXX XXXX XXXX XXXXXXXXXXXX	A exceção acima significa que a função do perfil da EMR EC2 instância não tem permissões para assumir a função RangerPluginDataAccessRole. Consulte IAMfunções para integração nativa com o Apache Ranger.
ERRORqtp54617902-149: Ocorreu uma exceção no aplicativo Web javax.ws.rs. NotAllowedException: Método HTTP 405 não permitido	Esses erros podem ser ignorados com segurança.

Verifique os registros do servidor (para SparkSQL)

EMROs registros do servidor de registros estão disponíveis em at /var/log/emr -record-server/ em um EMR nó ou podem ser encontrados no diretório s3: //< LOG LOCATION >/< id>/node/< CLUSTER id>/daemons//no S3. EC2 INSTANCE emr-record-server

Mensagens de erro comuns

Mensagem de erro	Causa
InstanceMetadataServiceResourceFetcher:105 - [] Falha ao recuperar o token com.amazonaws. SdkClientException: Falha na conexão com o endpoint de serviço	Ele EMR SecretAgent não apareceu ou está tendo um problema. Inspecione os SecretAgent registros em busca de erros e o script de marionete para determinar se houve algum erro de provisionamento.