Selecione suas preferências de cookies

Usamos cookies essenciais e ferramentas semelhantes que são necessárias para fornecer nosso site e serviços. Usamos cookies de desempenho para coletar estatísticas anônimas, para que possamos entender como os clientes usam nosso site e fazer as devidas melhorias. Cookies essenciais não podem ser desativados, mas você pode clicar em “Personalizar” ou “Recusar” para recusar cookies de desempenho.

Se você concordar, a AWS e terceiros aprovados também usarão cookies para fornecer recursos úteis do site, lembrar suas preferências e exibir conteúdo relevante, incluindo publicidade relevante. Para aceitar ou recusar todos os cookies não essenciais, clique em “Aceitar” ou “Recusar”. Para fazer escolhas mais detalhadas, clique em “Personalizar”.

AWS Clean Rooms Métricas de avaliação do modelo de ML

Modo de foco
AWS Clean Rooms Métricas de avaliação do modelo de ML - AWS Clean Rooms

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O Clean Rooms ML calcula o recall e a pontuação de relevância para determinar a performance do seu modelo. O recall compara a similaridade entre os dados de público semelhante e os dados de treinamento. A pontuação de relevância é usada para determinar o tamanho do público, não se o modelo está funcionando bem.

Recall é uma medida imparcial de quanto o segmento de semelhanças é similar aos dados de treinamento. O recall é a porcentagem dos usuários mais semelhantes (por padrão, os 20% mais semelhantes) de uma amostra dos dados de treinamento que são incluídos no público inicial pelo trabalho de geração de público. Os valores variam de 0 a 1, valores maiores indicam um público melhor. Um valor de recall aproximadamente igual à porcentagem máxima de um compartimento indica que o modelo de público é equivalente à seleção aleatória.

Consideramos essa métrica de avaliação melhor do que as pontuações de acurácia, de precisão e F1, porque o Clean Rooms ML não rotulou com exatidão os verdadeiros usuários negativos ao criar o respectivo modelo.

A pontuação de relevância no nível de segmento é uma medida de similaridade com valores que variam de -1 (menos semelhante) a 1 (mais semelhante). O Clean Rooms ML calcula um conjunto de pontuações de relevância para vários tamanhos de segmento a fim de ajudar a determinar o melhor tamanho de segmento para seus dados. As pontuações de relevância diminuem monotonicamente à medida que o tamanho do segmento aumenta, portanto, à medida que o tamanho do segmento aumenta, ele pode ser menos semelhante aos dados iniciais. Quando a pontuação de relevância no nível do segmento atinge 0, o modelo prevê que todos os usuários no segmento de semelhanças são da mesma distribuição dos dados de seed. É provável que o aumento do tamanho da saída inclua usuários no segmento de semelhanças que não sejam da mesma distribuição dos dados iniciais.

As pontuações de relevância são normalizadas em uma única campanha e não devem ser usadas para comparação entre campanhas. As pontuações de relevância não devem ser usadas como uma evidência de fonte única para nenhum resultado comercial, pois elas são afetadas por vários fatores complexos, além da relevância, como qualidade do estoque, tipo de estoque, horário da publicidade e assim por diante.

As pontuações de relevância não devem ser usadas para avaliar a qualidade de seed, mas sim se ela pode ser aumentada ou diminuída. Considere os seguintes exemplos:

  • Todas as pontuações positivas: isso indica que há mais usuários de saída previstos como semelhantes do que os incluídos no segmento de semelhanças. Isso é comum em dados iniciais que fazem parte de um grande mercado, como todos que compraram pasta de dentes no mês passado. Recomendamos analisar dados de seed menores, como todos que compraram pasta de dente mais de uma vez no mês passado.

  • Todas as pontuações negativas ou negativas para o tamanho do segmento de semelhanças desejado: isso indica que o Clean Rooms ML prevê que não há usuários semelhantes suficientes no tamanho do segmento de semelhanças desejado. Talvez os dados de seed sejam muito específicos ou o mercado seja muito pequeno. Recomendamos aplicar menos filtros aos dados de seed ou ampliar o mercado. Por exemplo, se os dados de seed originais fossem de clientes que compraram um carrinho de bebê e uma cadeirinha para carro, você poderia expandir o mercado para clientes que compraram vários produtos para bebês.

Os provedores de dados de treinamento determinam se as pontuações de relevância estão expostas e os compartimentos de bucket onde as pontuações de relevância são calculadas.

PrivacidadeTermos do sitePreferências de cookies
© 2025, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos reservados.