Gerencie SageMaker experiências da Amazon no Studio Classic

Importante

O rastreamento de SageMaker experimentos usando o SDK Experiments Python só está disponível no Studio Classic. Recomendamos usar a nova experiência do Studio e criar experimentos usando as SageMaker integrações mais recentes com o MLflow. Não há integração da interface do usuário do MLflow com o Studio Classic. Se quiser usar o MLflow com o Studio, você deve iniciar a interface do usuário do MLflow usando o. AWS CLI Para ter mais informações, consulte Inicie a interface do usuário do MLflow usando o AWS CLI.

O Amazon SageMaker Experiments Classic é um recurso da Amazon SageMaker que permite criar, gerenciar, analisar e comparar seus experimentos de aprendizado de máquina no Studio Classic.

O Experiments Classic rastreia automaticamente as entradas, os parâmetros, as configurações e os resultados de suas iterações durante as execuções. Você pode atribuir, agrupar e organizar esses ensaios em experimentos. SageMaker O Experiments é integrado ao Amazon SageMaker Studio Classic, fornecendo uma interface visual para pesquisar seus experimentos ativos e anteriores, comparar execuções nas principais métricas de desempenho e identificar os modelos com melhor desempenho. SageMaker Os experimentos rastreiam todas as etapas e artefatos envolvidos na criação de um modelo, e você pode revisitar rapidamente as origens de um modelo ao solucionar problemas na produção ou auditar seus modelos para verificações de conformidade.

Use SageMaker Experimentos para visualizar, gerenciar, analisar e comparar tanto os experimentos personalizados que você cria programaticamente quanto os experimentos criados automaticamente a partir de SageMaker trabalhos.

Exemplos de cadernos para Experiments Classic

Os tutoriais a seguir demonstram como monitorar as execuções de vários experimentos do treinamento de modelos. Você pode ver os experimentos resultantes no Studio Classic depois de executar os notebooks. Para ver um tutorial que mostra recursos adicionais do Studio Classic, consulteTour clássico do Amazon SageMaker Studio.

Monitore experimentos em um ambiente de caderno

Para saber mais sobre o rastreamento de experimentos em um ambiente de caderno, consulte os seguintes exemplos de cadernos:

• Acompanhe um experimento enquanto treina um modelo Keras localmente

• Acompanhe um experimento enquanto treina um modelo Pytorch localmente ou em seu caderno

Monitore o viés e a explicabilidade de seus experimentos com o Clarify SageMaker

Para obter um step-by-step guia sobre viés de rastreamento e explicabilidade para seus experimentos, consulte o seguinte exemplo de caderno:

• Justiça e explicabilidade com o Clarify SageMaker

Monitore experimentos para trabalhos SageMaker de treinamento usando o modo script

Para obter mais informações sobre o rastreamento de experimentos para trabalhos SageMaker de treinamento, consulte os seguintes exemplos de cadernos:

• Execute um SageMaker experimento com Pytorch Distributed Data Parallel - Classificação de dígitos manuscritos MNIST

• Acompanhe um experimento enquanto treina um modelo Pytorch com um SageMaker Training Job

• Treine um TensorFlow modelo com um trabalho SageMaker de treinamento e acompanhe-o usando SageMaker Experimentos

Veja experimentos e ensaios

O Amazon SageMaker Studio Classic fornece um navegador de experimentos que você pode usar para visualizar listas de experimentos e execuções. Você pode escolher uma dessas entidades para visualizar informações detalhadas sobre a entidade ou escolher várias entidades para comparação. Você pode filtrar a lista de experimentos por nome, tipo e tags da entidade.

Veja experimentos e execuções

1. Para ver o experimento no Studio Classic, na barra lateral esquerda, escolha Experimentos.

   Selecione o nome do experimento para visualizar todas as execuções associadas. Você pode pesquisar experimentos digitando diretamente na barra de Pesquisa ou filtrando por tipo de experimento. Você também pode escolher quais colunas serão exibidas na sua lista de experimentos ou execuções.

   Pode levar um momento para que a lista seja atualizada e exiba um novo experimento ou execução de experimento. Você pode clicar em Atualizar para atualizar a página. Sua lista de experimentos deve ser semelhante à seguinte:

   

2. Na lista de experimentos, clique duas vezes em um experimento para exibir uma lista das execuções no experimento.

   nota

   As execuções de experimentos criadas automaticamente por SageMaker trabalhos e contêineres são visíveis na interface do usuário do Experiments Studio Classic por padrão. Para ocultar execuções criadas por SageMaker trabalhos para um determinado experimento, escolha o ícone de configurações ( ) e ative Mostrar trabalhos.

   

3. Clique duas vezes em uma execução para exibir informações sobre uma execução específica.

   No painel Visão geral, escolha qualquer um dos títulos a seguir para ver as informações disponíveis sobre cada execução:

   • Métricas - Métricas que são registradas por uma execução.

   • Gráficos — Crie seus próprios gráficos para comparar corridas.

   • Artefatos de saída — Quaisquer artefatos resultantes da execução do experimento e da localização dos artefatos no Amazon S3.

   • Relatórios de viés — relatórios de preconceito antes ou depois do treinamento gerados usando o Clarify.

   • Explicabilidade — Relatórios de explicabilidade gerados usando o Clarify.

   • Depuração - Uma lista de regras do depurador e quaisquer problemas encontrados.

Migre do Experiments Classic para a Amazon SageMaker com o MLflow

Experimentos anteriores criados usando o Experiments Classic ainda estão disponíveis para visualização no Studio Classic. Se você quiser manter e usar o código do experimento anterior com o MLflow, você deve atualizar seu código de treinamento para usar o SDK do MLflow e executar os experimentos de treinamento novamente. Para obter mais informações sobre como começar a usar o MLflow SDK e o plug-in AWS MLflow, consulte. Monitore experimentos com o MLflow