Monitoramento de endpoints interativos

Com a Amazon EMR na EKS versão 6.10 e posterior, os endpoints interativos emitem métricas da CloudWatch Amazon para monitorar e solucionar problemas nas operações do ciclo de vida do kernel. As métricas são acionadas por clientes interativos, como o EMR Studio ou notebooks Jupyter auto-hospedados. Cada uma das operações compatíveis com os endpoints interativos tem métricas associadas a elas. As operações são modeladas como dimensões para cada métrica, conforme mostrado na tabela abaixo. As métricas emitidas por endpoints interativos são visíveis em um namespace personalizado,EMRContainers, em sua conta.

Métrica	Descrição	Unidade
RequestCount	Número cumulativo de solicitações de uma operação processada pelo endpoint interativo.	Contagem
RequestLatency	O horário entre uma solicitação chegar ao endpoint interativo e uma resposta ser enviada pelo endpoint interativo.	Milissegundo
4 XXError	Emitido quando uma solicitação de uma operação resulta em um erro 4xx durante o processamento.	Contagem
5 XXError	Emitido quando uma solicitação de uma operação resulta em um erro 5Xxx no lado do servidor.	Contagem
KernelLaunchSuccess	Aplicável somente para a CreateKernel operação. Indica o número cumulativo de inicializações de kernel que ocorreram com êxito até e incluindo esta solicitação.	Contagem
KernelLaunchFailure	Aplicável somente para a CreateKernel operação. Indica o número cumulativo de falhas de inicialização de kernel até e incluindo esta solicitação.	Contagem

Cada métrica do endpoint interativo tem as seguintes dimensões anexadas a ela:

• ManagedEndpointId: identificador para o endpoint interativo.

• OperationName: a operação acionada pelo cliente interativo.

Os valores possíveis para a dimensão OperationName são mostrados na seguinte tabela:

operationName	Descrição da operação
CreateKernel	Solicita que o endpoint interativo inicie um kernel.
ListKernels	Solicita que o endpoint interativo liste os kernels que foram iniciados anteriormente usando o mesmo token de sessão.
GetKernel	Solicita que o endpoint interativo obtenha detalhes sobre um kernel específico que foi iniciado anteriormente.
ConnectKernel	Solicita que o endpoint interativo estabeleça conectividade entre o cliente do caderno e o kernel.
ConfigureKernel	Publica %%configure magic request em um kernel do PySpark.
ListKernelSpecs	Solicita que o endpoint interativo liste as especificações de kernel disponíveis.
GetKernelSpec	Solicita que o endpoint interativo obtenha as especificações de kernel de um kernel que foi iniciado anteriormente.
GetKernelSpecResource	Solicita que o endpoint interativo obtenha recursos específicos associados às especificações do kernel que foram iniciadas anteriormente.

Exemplos

Para acessar o número total de kernels iniciados para um endpoint interativo em um determinado dia:

1. Selecione o namespace personalizado: EMRContainers.

2. Selecione o ManagedEndpointId e OperationName – CreateKernel.

3. A métrica RequestCount com a estatística SUM e o período de 1 day fornecerá todas as solicitações de inicialização do kernel realizadas nas últimas 24 horas.

4. KernelLaunchSuccess A métrica com estatística SUM e período 1 day fornecerá todas as solicitações bem-sucedidas de inicialização do kernel feitas nas últimas 24 horas.

Para acessar o número de falhas de kernel para um endpoint interativo em um determinado dia:

1. Selecione o namespace personalizado: EMRContainers.

2. Selecione o ManagedEndpointId e OperationName – CreateKernel.

3. A métrica KernelLaunchFailure com a estatística SUM e o período de 1 day fornecerá todas as solicitações de inicialização do kernel com falha realizadas nas últimas 24 horas. Você também pode selecionar as métricas 4XXError e 5XXError para saber que tipo de falha na inicialização do kernel ocorreu.