As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Você pode usar métricas computadas para avaliar a eficácia de uma base de conhecimento na recuperação de informações relevantes de suas fontes de dados e a eficácia das respostas geradas ao responder perguntas. Os resultados de uma avaliação da base de conhecimento permitem que você compare diferentes bases de conhecimento e, em seguida, escolha a melhor base de conhecimento adequada para seu aplicativo de IA.
Você pode configurar dois tipos diferentes de trabalhos de avaliação da base de conhecimento.
-
Somente recuperação — Em um trabalho de avaliação de modelo somente para recuperação, o modelo avaliador é usado para realizar inferências em relação à sua base de conhecimento. O relatório é baseado nos dados recuperados pela sua base de conhecimento e nas métricas que você seleciona.
-
Recuperação e geração de resposta — Em um trabalho de avaliação do modelo de recuperação e geração de resposta, o modelo avaliador é usado para realizar inferências com base em seu conhecimento. O relatório é baseado nos dados recuperados da sua base de conhecimento e nos resumos gerados pelo modelo do avaliador.
Use os tópicos a seguir para ver como criar e gerenciar trabalhos de avaliação da base de conhecimento e os tipos de métricas de desempenho que você pode usar.
Tópicos
- Pré-requisitos para criar avaliações da base de conhecimento no Amazon Bedrock
- Use um conjunto de dados imediato para uma avaliação da base de conhecimento no Amazon Bedrock
- Solicitações do avaliador usadas em um trabalho de avaliação da base de conhecimento
- Criação de um trabalho de avaliação da base de conhecimento no Amazon Bedrock
- Listar trabalhos de avaliação que usam uma base de conhecimento do Amazon Bedrock no Amazon Bedrock
- Interrompa um trabalho de avaliação da base de conhecimento no Amazon Bedrock
- Avaliação da base de conhecimento da recuperação ou geração de respostas
- Analise os relatórios e métricas de trabalho de avaliação da base de conhecimento
- Excluir um trabalho de avaliação da base de conhecimento no Amazon Bedrock