Monitorar trabalhos do Ray com métricas

É possível monitorar trabalhos do Ray usando o AWS Glue Studio e o Amazon CloudWatch. O CloudWatch coleta e processa métricas brutas do AWS Glue com o Ray, o que as torna disponíveis para análise. Essas métricas são visualizadas no console do AWS Glue Studio, para que você possa monitorar o trabalho enquanto ele é executado.

Para obter uma visão geral de como monitorar o AWS Glue, consulte Monitorar o AWS Glue usando métricas do Amazon CloudWatch. Para obter uma visão geral de como usar as métricas do CloudWatch publicadas pelo AWS Glue, consulte Monitorar com o Amazon CloudWatch.

Monitorar tarefas do Ray no console do AWS Glue

Na página de detalhes de uma execução de trabalho, abaixo da seção Detalhes da execução, você pode ver gráficos agregados pré-montados que mostram as métricas de trabalho disponíveis. O AWS Glue Studio envia as métricas de trabalho para o CloudWatch para toda execução de trabalho. Com elas, você pode criar um perfil do cluster e das tarefas, bem como acessar informações detalhadas sobre cada nó.

Para obter mais informações sobre métricas gráficas disponíveis, consulte Visualizar métricas do Amazon CloudWatch para uma execução de trabalho do Ray.

Visão geral das métricas de trabalhos do Ray no CloudWatch

Publicamos métricas do Ray quando o monitoramento detalhado está ativado no CloudWatch. As métricas são publicadas no namespace Glue/Ray do CloudWatch.

• Métricas de instância

  Publicamos métricas sobre a utilização de CPU, memória e disco das instâncias designadas para uma tarefa. Essas métricas são identificadas por recursos como ExecutorId, ExecutorType e host. Essas métricas são um subconjunto das métricas padrão do agente Linux CloudWatch. Você pode encontrar informações sobre nomes e recursos de métricas na documentação do CloudWatch. Para obter mais informações, consulte Métricas coletadas pelo atendente do CloudWatch.

• Métricas de cluster do Ray

  Encaminhamos as métricas dos processos do Ray que executam o script nesse namespace, depois fornecemos a você as mais vitais. As métricas disponíveis podem diferir segundo a versão do Ray. Para obter mais informações sobre qual versão do Ray seu trabalho está executando, consulte Versões do AWS Glue.

  O Ray coleta métricas no nível da instância. Ele também fornece métricas para tarefas e para o cluster. Para obter mais informações sobre a estratégia de métricas subjacente do Ray, consulte Metrics na documentação do Ray.

nota

Não publicamos métricas de Ray no namespace do Glue/Job Metrics/, que é usado apenas para trabalhos do AWS Glue ETL.