Painel de SageMaker modelos da Amazon

O Amazon SageMaker Model Dashboard é um portal centralizado, acessível a partir do SageMaker console, onde você pode visualizar, pesquisar e explorar todos os modelos em sua conta. Você pode rastrear quais modelos são implantados para inferência e se eles são usados em trabalhos de transformação em lote ou hospedados em endpoints. Se você configurar monitores com o Amazon SageMaker Model Monitor, também poderá acompanhar o desempenho de seus modelos à medida que eles fazem previsões em tempo real com dados ao vivo. Você pode usar o painel para encontrar modelos que violam os limites definidos para qualidade de dados, qualidade do modelo, desvio e explicabilidade. A apresentação abrangente do painel de todos os resultados do seu monitor ajuda você a identificar rapidamente os modelos que não têm essas métricas configuradas.

O Model Dashboard agrega informações relacionadas ao modelo de vários SageMaker recursos. Além dos serviços fornecidos no Model Monitor, você pode visualizar cartões de modelo, visualizar a linhagem do fluxo de trabalho e monitorar a performance do seu endpoint. Você não precisa mais classificar registros, consultar em cadernos ou acessar outros AWS serviços para coletar os dados de que precisa. Com uma experiência de usuário coesa e integração aos serviços existentes, SageMaker o Model Dashboard fornece uma solução de governança de out-of-the-box modelos para ajudá-lo a garantir uma cobertura de qualidade em todos os seus modelos.

Pré-requisitos

Para usar o Painel de Modelo, você deve ter um ou mais modelos em sua conta. Você pode treinar modelos usando a Amazon SageMaker ou importar modelos que você treinou em outro lugar. Para criar um modelo em SageMaker, você pode usar a CreateModel API. Para obter mais informações, consulte CreateModel. Você também pode usar ambientes SageMaker de ML fornecidos, como o Amazon SageMaker Studio Classic, que fornece modelos de projeto que configuram o treinamento e a implantação de modelos para você. Para obter informações sobre como começar a usar o Studio Classic, consulte Amazon SageMaker Studio Classic.

Embora esse não seja um pré-requisito obrigatório, os clientes obtêm o máximo valor do painel se configurarem trabalhos de monitoramento de modelos usando SageMaker o Model Monitor para modelos implantados em endpoints. Para obter pré-requisitos e instruções sobre como usar o SageMaker Model Monitor, consulte. Monitorar a qualidade de dados do modelo

Elementos do Painel de modelo

A visualização do Painel de modelo extrai detalhes de alto nível de cada modelo para fornecer um resumo abrangente de cada modelo na sua conta. Se seu modelo for implantado para inferência, o painel ajudará você a acompanhar a performance do modelo e do endpoint em tempo real.

Detalhes importantes a serem destacados nesta página incluem:

• Classificação de risco: um parâmetro especificado pelo usuário do cartão de modelo com um valor baixo, médio ou alto. A classificação de risco do cartão de modelo é uma medida categórica do impacto comercial das previsões do modelo. Os modelos são usados para uma variedade de aplicativos de negócios, cada um dos quais pressupõe um nível de risco diferente. Por exemplo, detectar incorretamente um ataque cibernético tem um impacto nos negócios muito maior do que categorizar incorretamente um e-mail. Se você não conhece o risco do modelo, pode defini-lo como desconhecido. Para obter informações sobre os cartões SageMaker modelo da Amazon, consulte Cartões modelo.

• Alertas do Model Monitor: Os alertas do Model Monitor são o foco principal do Model Dashboard, e revisar a documentação existente sobre os vários monitores fornecidos por SageMaker é uma maneira útil de começar. Para obter uma explicação detalhada sobre o recurso SageMaker Model Monitor e exemplos de notebooks, consulte. Monitorar a qualidade de dados do modelo

  O Painel de modelo exibe os valores de status do Model Monitor pelos seguintes tipos de monitor:

  • Qualidade de dados: compara dados dinâmicos com dados de treinamento. Se divergirem, as inferências do seu modelo podem não ser mais precisas. Para obter detalhes adicionais sobre o monitor de qualidade de dados, consulte Monitorar a qualidade dos dados.

  • Qualidade do modelo: compara as previsões que o modelo faz com os rótulos reais de veracidade que o modelo tenta prever. Para obter detalhes adicionais sobre o monitor de Qualidade do modelo, consulte Monitorar a qualidade do modelo.

  • Desvio de polarização: compara a distribuição de dados dinâmicos com dados de treinamento, o que também pode causar previsões imprecisas. Para obter detalhes adicionais sobre o monitor de Desvio de polarização, consulte Monitorar o desvio de polarização para modelos em produção.

  • Desvio de atributo de recursos: também conhecido como desvio de explicabilidade. Compara as classificações relativas de seus recursos nos dados de treinamento com os dados dinâmicos, o que também pode ser resultado de um desvio de polarização. Para obter detalhes adicionais sobre o monitor de Desvio de atributo de recursos, consulte Monitorar o desvio de atribuição de recursos para modelos em produção.

  Cada status do Model Monitor é um dos seguintes valores:

  • Nenhum: nenhum monitor está programado

  • Inativo: um monitor foi programado, mas foi desativado

  • OK: um monitor está programado e está ativo e não encontrou o número necessário de violações em execuções recentes de modelos de monitores para gerar um alerta

  • Hora e data: um monitor ativo gerou um alerta na hora e data especificadas

• Endpoint: os endpoints que hospedam seu modelo para inferência em tempo real. No Painel de modelo, você pode selecionar a coluna de endpoint para visualizar métricas de performance, como utilização de CPU, GPU, disco e memória de seus endpoints em tempo real para ajudar você a monitorar o desempenho de suas instâncias de computação.

• Trabalho de transformação em lote: o trabalho de transformação em lote mais recente executado usando esse modelo. Essa coluna ajuda a determinar se um modelo é usado ativamente para inferência em lote.

• Detalhes do modelo: cada entrada no painel é vinculada a uma página de detalhes do modelo, na qual você pode se aprofundar em um modelo individual. Você pode acessar o gráfico de linhagem do modelo, que visualiza o fluxo de trabalho desde a preparação dos dados até a implantação e os metadados de cada etapa. Você também pode criar e visualizar o cartão de modelo, revisar os detalhes e o histórico do alerta, avaliar o desempenho de seus endpoints em tempo real e acessar outros detalhes relacionados à infraestrutura.