Monitoramento de preditores

nota

Se você ativar o monitoramento de preditores, o Amazon Forecast armazenará dados de cada uma de suas previsões para análise de desempenho do preditor, mesmo depois de excluir os dados de previsão. Para excluir esses dados, exclua o recurso de monitoramento.

O monitoramento do preditor permite que você veja como o desempenho do preditor muda ao longo do tempo. Vários fatores podem causar mudanças no desempenho, como desenvolvimentos econômicos ou mudanças no comportamento do cliente.

Por exemplo, considere um cenário de previsão em que o alvo está sales e há dois atributos relacionados: price e. color Nos meses após a criação do seu primeiro preditor, certas cores podem se tornar inesperadamente mais populares entre seus clientes. Isso pode aumentar as vendas de itens com esse atributo. Esses novos dados podem afetar o desempenho do seu preditor e a precisão das previsões que ele gera.

Com o monitoramento de preditores ativado, o Forecast analisa o desempenho do seu preditor à medida que você gera previsões e importa mais dados. O Forecast compara os novos dados com as previsões anteriores para detectar quaisquer alterações no desempenho. Você pode visualizar gráficos de como diferentes métricas de precisão mudaram ao longo do tempo no console Forecast. Ou você pode obter resultados de monitoramento com a ListMonitorEvaluations operação.

O monitoramento do preditor pode ajudar a decidir se é hora de retreinar seu preditor. Se o desempenho estiver diminuindo, talvez você queira retreinar o preditor com base em dados mais recentes. Se você optar por treinar novamente seu preditor, o novo preditor incluirá os dados de monitoramento do anterior. Você também pode usar o monitoramento de preditores para coletar dados contextuais sobre seu ambiente de produção ou para realizar comparações para diferentes experimentos.

O monitoramento de preditores só está disponível para o AutoPredictors. Você pode atualizar os preditores legados existentes para o AutoPredictor. Consulte Atualização para o AutoPredictor.

Tópicos

• Fluxo de trabalho de monitoramento Predictor
• Habilitar o monitoramento do Predictor
• Visualizar resultados de monitoramento
• Restrições e melhores práticas

Fluxo de trabalho de monitoramento Predictor

Para obter os resultados do monitoramento do preditor, você deve primeiro usar seu preditor para gerar uma previsão e depois importar mais dados. O fluxo de trabalho é o seguinte:

1. Ative o monitoramento de preditores para um preditor automático:

   • Crie um novo preditor com o monitoramento ativado. Consulte Habilitando o monitoramento de preditores para um novo preditor.

   • Ou habilitar o monitoramento para um preditor existente. Consulte Habilitando o monitoramento de preditores para um preditor existente.

2. Use o preditor para gerar uma ou mais previsões.

3. Importe mais dados. Para obter informações sobre a importação de dados para o Forecast, consulteImportação de conjuntos de dados.

4. Veja os resultados do monitoramento do preditor:

   • Você pode ver os resultados na guia Monitoramento do seu preditor.

   • Ou você pode obter resultados de monitoramento com a ListMonitorEvaluations operação.

   Para obter mais informações, consulte Visualizar resultados de monitoramento.

Restrições e melhores práticas

Considere as seguintes restrições e melhores práticas ao trabalhar com o monitoramento de preditores.

• O monitoramento de preditores está disponível somente para preditores automáticos — você não pode ativar o monitoramento de preditores legados que foram criados com o AutoML ou por meio de seleção manual. Consulte Atualização para o AutoPredictor.

• O monitoramento por preditor é exclusivo por preditor automático — você só pode criar um monitor por preditor automático.

• O monitoramento de preditores exige novos dados e a geração de previsões — À medida que você importa novos dados que são usados para gerar novas previsões, os resultados do monitoramento de preditores ficam disponíveis. Se você não estiver importando novos dados ou se os dados recém-importados não cobrirem um horizonte de previsão completo, você não verá os resultados do monitoramento.

• O monitoramento de preditores exige novas previsões — Você deve gerar continuamente novas previsões para gerar resultados de monitoramento. Se você não estiver gerando novas previsões, não verá os resultados do monitoramento.

• O Amazon Forecast armazenará dados de cada uma de suas previsões para análise de desempenho do preditor — o Forecast armazena esses dados mesmo se você excluir previsões. Para excluir esses dados, exclua o monitor associado.

• A StopResource operação interromperá todas as avaliações atuais e futuras.

• A métrica AvgQL está disponível somente quando você gera previsões para quantis diferentes da média.

• As avaliações do monitor em andamento não são mostradas na ListMonitorEvaluations operação.