Sincronize sua fonte de dados com sua base de conhecimento do Amazon Bedrock

Depois de criar sua base de conhecimento, você ingere sua (s) fonte (s) de dados em sua base de conhecimento para que elas sejam indexadas e possam ser consultadas. A ingestão converte os dados brutos em sua fonte de dados em incorporações vetoriais. Antes de começar a ingestão, verifique se sua fonte de dados atende às seguintes condições:

• Você configurou as informações de conexão da sua fonte de dados. Para configurar um conector de fonte de dados para rastrear seus dados do seu repositório de fonte de dados, consulte Conectores de fonte de dados compatíveis.

• Os arquivos estão em formatos compatíveis. Para obter mais informações, consulte Support document formats.

• Os arquivos não excedem o tamanho máximo de 50 MB. Para ter mais informações, consulte Cotas da base de conhecimento.

• Se sua fonte de dados contiver arquivos de metadados, verifique as seguintes condições para garantir que os arquivos de metadados não sejam ignorados:

  • Cada .metadata.json arquivo compartilha o mesmo nome do arquivo de origem ao qual está associado.

  • Se o índice vetorial da sua base de conhecimento estiver em um armazenamento vetorial Amazon OpenSearch Serverless, verifique se o índice vetorial está configurado com o faiss mecanismo. Se o índice vetorial estiver configurado com o nmslib mecanismo, você precisará fazer o seguinte:

    • Crie uma nova base de conhecimento no console e deixe que o Amazon Bedrock crie automaticamente um índice vetorial no Amazon OpenSearch Serverless para você.

    • Crie outro índice vetorial no armazenamento de vetores e selecione faiss como Mecanismo. Em seguida, crie uma nova base de conhecimento e especifique o novo índice vetorial.

  • Se o índice vetorial da sua base de conhecimento estiver em um cluster de banco de dados Amazon Aurora, verifique se a tabela do seu índice contém uma coluna para cada propriedade de metadados em seus arquivos de metadados antes de iniciar a ingestão.

nota

Sempre que você adiciona, modifica ou remove arquivos da sua fonte de dados, você deve sincronizar a fonte de dados para que ela seja reindexada na base de conhecimento. A sincronização é incremental, então o Amazon Bedrock processa somente documentos adicionados, modificados ou excluídos desde a última sincronização.

Para saber como ingerir suas fontes de dados em sua base de conhecimento, selecione a guia correspondente ao seu método de escolha e siga as etapas.

Console

Como ingerir fontes de dados

1. Abra o console do Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

2. No painel de navegação à esquerda, selecione Base de conhecimento e escolha sua base de conhecimento.

3. Na seção Fonte de dados, selecione Sincronizar para iniciar a ingestão de dados.

4. Quando a ingestão de dados for concluída, um banner verde de sucesso será exibido se ela tiver sido bem-sucedida.

5. Você pode escolher uma fonte de dados para ver o Histórico de sincronização. Selecione Visualizar avisos para ver por que um trabalho de ingestão de dados falhou.

API

Para ingerir uma fonte de dados no armazenamento vetorial que você configurou para sua base de conhecimento, envie uma StartIngestionJobsolicitação com um endpoint de tempo de construção do Agents for Amazon Bedrock. Especifique o knowledgeBaseId dataSourceId e.

Use o ingestionJobId retornado na resposta em uma GetIngestionJobsolicitação com um endpoint de tempo de construção do Agents for Amazon Bedrock para rastrear o status do trabalho de ingestão. Além disso, especifique o knowledgeBaseId dataSourceId e.

• Ao final do trabalho de ingestão, o status na resposta é COMPLETE.

• O objeto statistics na resposta retorna informações sobre se a ingestão foi bem-sucedida ou não para documentos na fonte de dados.

Você também pode ver as informações de todos os trabalhos de ingestão de uma fonte de dados enviando uma ListIngestionJobssolicitação com um endpoint de tempo de construção do Agents for Amazon Bedrock. Especifique o dataSourceId e o knowledgeBaseId da base de conhecimento na qual os dados estão sendo ingeridos.

• Filtre os resultados especificando um status a ser pesquisado no objeto filters.

• Classifique pela hora em que o trabalho foi iniciado ou pelo status de um trabalho, especificando o objeto sortBy. Você pode classificar em ordem crescente ou decrescente.

• Defina o número máximo de resultados a serem retornados em uma resposta no campo maxResults. Se houver mais resultados do que o número definido, a resposta retornará um nextToken que você pode enviar em outra ListIngestionJobssolicitação para ver o próximo lote de trabalhos.