Usar IA generativa com modelos básicos

O Amazon SageMaker Canvas fornece modelos básicos de IA generativos que você pode usar para iniciar bate-papos conversacionais. Esses modelos de geração de conteúdo são treinados em grandes quantidades de dados de texto para aprender os padrões estatísticos e as relações entre as palavras, e podem produzir um texto coerente que seja estatisticamente semelhante ao texto no qual foram treinados. É possível usar esse recurso para aumentar sua produtividade da seguinte maneira:

• Gerar conteúdo, como esboços de documentos, relatórios e blogs

• Resumir o texto de grandes corpus de texto, como transcrições de teleconferências, relatórios anuais ou capítulos de manuais do usuário

• Extrair informações e conclusões importantes de grandes passagens de texto, como notas de reuniões ou narrativas

• Melhorar o texto e capturar erros gramaticais ou de digitação

Os modelos básicos são uma combinação dos modelos de linguagem grande (LLMs) da Amazon SageMaker JumpStart e do Amazon Bedrock. O Canvas oferece os seguintes modelos:

Modelo	Tipo	Descrição
Amazon Titan	Modelo Amazon Bedrock	O Amazon Titan é um modelo de linguagem poderoso e de uso geral que você pode usar para tarefas como resumo, geração de texto (como criar uma postagem no blog), classificação, perguntas e respostas abertas e extração de informações. Ele é pré-treinado em grandes conjuntos de dados, o que o torna adequado para tarefas e raciocínios complexos. Para continuar apoiando as melhores práticas no uso responsável da IA, os modelos da Amazon Titan Foundation são criados para detectar e remover conteúdo prejudicial nos dados, rejeitar conteúdo impróprio na entrada do usuário e filtrar saídas de modelos que contêm conteúdo impróprio (como discurso de ódio, palavrões e violência).
Anthropic Claude Instant	Modelo Amazon Bedrock	O Claude Instant da Anthropic é um modelo mais rápido e econômico, mas ainda assim muito capaz. Esse modelo pode lidar com uma variedade de tarefas, incluindo diálogo casual, análise de texto, resumo e resposta a perguntas de documentos. Assim como o Claude-2, o Claude Instant pode suportar até 100.000 tokens em cada solicitação, o equivalente a cerca de 200 páginas de informações.
Anthropic Claude-2	Modelo Amazon Bedrock	O Claude-2 é o modelo mais poderoso da Anthropic, que se destaca em uma ampla variedade de tarefas, desde diálogos sofisticados e geração de conteúdo criativo até o acompanhamento detalhado de instruções. O Claude-2 pode suportar até 100.000 tokens em cada solicitação, o equivalente a cerca de 200 páginas de informações. Ele pode gerar respostas mais longas em comparação com a versão anterior. Ele oferece suporte a casos de uso como resposta a perguntas, extração de informações, remoção de PII, geração de conteúdo, classificação de múltipla escolha, dramatização, comparação de texto, resumo e perguntas e respostas sobre documentos com citação.
Falcon-7B-Instruct	JumpStart modelo	O Falcon-7B-Instruct tem 7 bilhões de parâmetros e foi ajustado em uma mistura de conjuntos de dados de chat e instruct. Ele serve como assistente virtual e tem melhor desempenho ao seguir instruções ou iniciar uma conversa. Como o modelo foi treinado em grandes quantidades de dados da web em inglês, ele carrega os estereótipos e vieses comumente encontrados on-line e não é adequado para outros idiomas além do inglês. Comparado ao Falcon-40B-Instruct, o Falcon-7B-Instruct é um modelo um pouco menor e mais compacto.
Falcon-40B-Instruct	JumpStart modelo	O Falcon-40B-Instruct tem 40 bilhões de parâmetros e foi ajustado em uma mistura de conjuntos de dados de chat e instruct. Ele serve como assistente virtual e tem melhor desempenho ao seguir instruções ou iniciar uma conversa. Como o modelo foi treinado em grandes quantidades de dados da web em inglês, ele carrega os estereótipos e vieses comumente encontrados on-line e não é adequado para outros idiomas além do inglês. Comparado ao Falcon-7B-Instruct, o Falcon-40B-Instruct é um modelo um pouco maior e mais poderoso.
Jurassic-2 Mid	Modelo Amazon Bedrock	O Jurassic-2 Mid é um modelo de geração de texto de alto desempenho treinado em um grande corpus de texto (atual até meados de 2022). É altamente versátil, de uso geral e capaz de compor textos semelhantes aos humanos e resolver tarefas complexas, como responder a perguntas, classificar textos e muitas outras. Esse modelo oferece recursos de instrução zero, permitindo que ele seja direcionado apenas com linguagem natural e sem o uso de exemplos. Seu desempenho é até 30% mais rápido do que o do seu antecessor, o modelo Jurassic-1. O Jurassic-2 Mid é o modelo de tamanho médio da AI21, cuidadosamente projetado para encontrar o equilíbrio certo entre qualidade excepcional e acessibilidade.
Jurassic-2 Ultra	Modelo Amazon Bedrock	O Jurassic-2 Ultra é um modelo de geração de texto de alto desempenho treinado em um grande corpus de texto (atual até meados de 2022). É altamente versátil, de uso geral e capaz de compor textos semelhantes aos humanos e resolver tarefas complexas, como responder a perguntas, classificar textos e muitas outras. Esse modelo oferece recursos de instrução zero, permitindo que ele seja direcionado apenas com linguagem natural e sem o uso de exemplos. Seu desempenho é até 30% mais rápido do que o do seu antecessor, o modelo Jurassic-1. Comparado ao Jurassic-2 Mid, o Jurassic-2 Ultra é um modelo um pouco maior e mais poderoso.
Llama-2-7b-Chat	JumpStart modelo	O LLama-2-7b-Chat é um modelo básico da Meta que é adequado para se envolver em conversas significativas e coerentes, gerar novos conteúdos e extrair respostas de notas existentes. Como o modelo foi treinado em grandes quantidades de dados da Internet em inglês, ele carrega os preconceitos e limitações comumente encontrados on-line e é mais adequado para tarefas em inglês.
Llama-2-13B-Chat	Modelo Amazon Bedrock	O Llama-2-13B-Chat da Meta foi aperfeiçoado nos dados de conversação após o treinamento inicial em dados da Internet. Ele é otimizado para diálogos naturais e habilidades de bate-papo envolventes, o que o torna adequado como agente de conversação. Em comparação com o Llama-2-7B-Chat menor, o Llama-2-13B-Chat tem quase o dobro de parâmetros, permitindo que ele se lembre de mais contexto e produza respostas conversacionais com mais nuances. Assim como o Llama-2-7B-Chat, o Llama-2-13B-Chat foi treinado em dados em inglês e é mais adequado para tarefas em inglês.
Llama-2-70B-Chat	Modelo Amazon Bedrock	Assim como o Llama-2-7B-Chat e o Llama-2-13B-Chat, o modelo Llama-2-70B-Chat da Meta é otimizado para engajar um diálogo natural e significativo. Com 70 bilhões de parâmetros, esse grande modelo conversacional pode lembrar um contexto mais extenso e produzir respostas altamente coerentes quando comparado às versões mais compactas do modelo. No entanto, isso tem o custo de respostas mais lentas e maiores requisitos de recursos. O Llama-2-70B-Chat foi treinado em grandes quantidades de dados da Internet em inglês e é mais adequado para tarefas em inglês.
Mistral-7B	JumpStart modelo	O Mistral-7B da Mistral.AI é um excelente modelo de linguagem de uso geral adequado para uma ampla variedade de tarefas de linguagem natural (PNL), como geração de texto, resumo e resposta a perguntas. Ele utiliza atenção de consulta agrupada (GQA), que permite velocidades de inferência mais rápidas, fazendo com que tenha um desempenho comparável a modelos com duas ou três vezes mais parâmetros. Ele foi treinado em uma mistura de dados de texto, incluindo livros, sites e artigos científicos no idioma inglês, por isso é mais adequado para tarefas em inglês.
Mistral-7B-Chat	JumpStart modelo	O Mistral-7B-Chat é um modelo conversacional da Mistral.AI baseado no Mistral-7B. Embora o Mistral-7B seja o melhor para tarefas gerais de PNL, o Mistral-7B-Chat foi aprimorado ainda mais nos dados de conversação para otimizar suas habilidades de bate-papo natural e envolvente. Como resultado, o Mistral-7B-Chat gera respostas mais humanas e lembra o contexto das respostas anteriores. Como o Mistral-7B, esse modelo é mais adequado para tarefas em inglês.
MPT-7B-Instruct	JumpStart modelo	O MPT-7B-Instruct é um modelo para tarefas de seguimento de instruções de formato longo e pode ajudá-lo a escrever tarefas, incluindo resumo de texto e respostas a perguntas, para economizar tempo e esforço. Esse modelo foi treinado em grandes quantidades de dados ajustados e pode lidar com entradas maiores, como documentos complexos. Use esse modelo quando quiser processar grandes corpos de texto ou quiser que o modelo gere respostas longas.

Os modelos básicos da Amazon Bedrock atualmente só estão disponíveis nas regiões Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon). Além disso, ao usar modelos básicos do Amazon Bedrock, você é cobrado com base no volume de tokens de entrada e tokens de saída, conforme especificado por cada fornecedor de modelo. Para obter mais informações, consulte a página de preços do Amazon Bedrock. Os modelos JumpStart básicos são implantados em instâncias de SageMaker hospedagem e você é cobrado pela duração do uso com base no tipo de instância usada. Para obter mais informações sobre o custo de diferentes tipos de instância, consulte a seção Amazon SageMaker Hosting: Inferência em tempo real na página de SageMaker preços.

A consulta de documentos é um atributo adicional que você pode usar para consultar e obter informações de documentos armazenados em índices usando o Amazon Kendra. Com essa funcionalidade, você pode gerar conteúdo a partir do contexto desses documentos e receber respostas específicas para seu caso de uso comercial, em vez de respostas genéricas às grandes quantidades de dados nos quais os modelos básicos foram treinados. Para obter mais informações sobre índices no Amazon Kendra, consulte o Guia do desenvolvedor do Amazon Kendra.

Se você quiser obter respostas de qualquer um dos modelos básicos personalizados para seus dados e caso de uso, você pode ajustar os modelos básicos. Para saber mais, consulte Aperfeiçoe os modelos de fundação.

Para aprender os conceitos básicos, consulte as seções a seguir.

Pré-requisitos

As seções a seguir descrevem os pré-requisitos para interagir com modelos básicos e usar o atributo de consulta de documentos no Canvas. O restante do conteúdo desta página pressupõe que você atendeu aos pré-requisitos para modelos básicos. O atributo de consulta de documentos requer permissões adicionais.

Pré-requisitos para modelos básicos

As permissões necessárias para interagir com os modelos estão incluídas nas permissões dos eady-to-use modelos Canvas R. Para usar os modelos generativos baseados em IA no Canvas, você deve ativar as permissões de configuração dos eady-to-use modelos Canvas R ao configurar seu domínio da Amazon. SageMaker Para ter mais informações, consulte Pré-requisitos para configurar o Amazon Canvas SageMaker . A configuração dos modelos Canvas Ready-to-Use anexa a ServicesAccess política de AmazonSageMakerCanvasIA à função de execução do seu usuário do Canvas AWS Identity and Access Management (IAM). Se você encontrar algum problema com a concessão de permissões, consulte o tópico Solução de problemas com a concessão de permissões por meio do console SageMaker .

Se você já configurou seu domínio, você pode editar suas configurações de domínio e ativar as permissões. Para obter instruções sobre como editar as configurações do seu domínio, consulteVisualize e edite domínios. Ao editar as configurações do seu domínio, acesse as configurações do Canvas e ative a opção Ativar modelos prontos para uso do Canvas.

Alguns modelos de JumpStart fundação também exigem que você solicite um aumento da cota de SageMaker instâncias. O Canvas hospeda os modelos com os quais você está interagindo atualmente nessas instâncias, mas a cota padrão para sua conta pode ser insuficiente. Se você encontrar um erro ao executar qualquer um dos modelos a seguir, solicite um aumento de cota para os tipos de instância associados:

• Falcon-40B – ml.g5.12xlarge, ml.g5.24xlarge

• Falcon-13B – ml.g5.2xlarge, ml.g5.4xlarge, ml.g5.8xlarge

• MPT-7B-Instruct – ml.g5.2xlarge, ml.g5.4xlarge, ml.g5.8xlarge

Para os tipos de instâncias anteriores, solicite um aumento de 0 para 1 para a cota de uso do endpoint. Para obter mais informações como aumentar uma cota de instância para sua conta, consulte Solicitar um aumento da cota no Guia do usuário do Service Quotas.

Pré-requisitos para a consulta de documentos

nota

A consulta de documentos é suportada no seguinte Regiões da AWS: Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Europa (Irlanda), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio) e Ásia-Pacífico (Mumbai).

O atributo de consulta de documentos exige que você já tenha um índice do Amazon Kendra que armazene seus documentos e metadados do documento. Para obter mais informações sobre o Amazon Kendra, consulte o Guia do desenvolvedor do Amazon Kendra. Para saber mais sobre as cotas para consultar índices, consulte Cotas no Guia do desenvolvedor do Amazon Kendra.

Você também deve se certificar de que seu perfil de usuário do Canvas tenha as permissões necessárias para a consulta de documentos. A AmazonSageMakerCanvasFullAccesspolítica deve ser anexada à função de execução do AWS IAM para o SageMaker domínio que hospeda seu aplicativo Canvas (essa política é anexada por padrão a todos os perfis de usuário novos e existentes do Canvas). Você também deve conceder especificamente permissões de consulta de documentos e especificar o acesso a um ou mais índices do Amazon Kendra.

Se o administrador do Canvas estiver configurando um novo domínio ou perfil de usuário, faça com que ele configure o domínio seguindo as instruções emPré-requisitos para configurar o Amazon Canvas SageMaker . Ao configurar o domínio, eles podem ativar as permissões de consulta do documento por meio da configuração dos eady-to-use modelos Canvas R.

O administrador do Canvas também pode gerenciar as permissões de consulta de documentos no nível do perfil do usuário. Por exemplo, se o administrador quiser conceder permissões de consulta de documentos a alguns perfis de usuário, mas remover permissões para outros, ele poderá editar as permissões para um usuário específico.

O procedimento a seguir mostra como ativar permissões de consulta de documentos para um perfil de usuário específico:

1. Abra o SageMaker console em https://console.aws.amazon.com/sagemaker/.

2. No painel de navegação à esquerda, escolha Configurações do administrador.

3. Em Configurações do administrador, escolha domínios.

4. Na lista de domínios, selecione o domínio do perfil do usuário.

5. Na página de detalhes do domínio, escolha o perfil do usuário cujas permissões você deseja editar.

6. Na página Detalhes do usuário, escolha Editar.

7. No painel de navegação à esquerda, escolha Configurações do Canvas.

8. Na seção de configuração dos eady-to-use modelos Canvas R, ative o botão Habilitar consulta de documentos usando o Amazon Kendra.

9. No menu suspenso, selecione um ou mais índices do Amazon Kendra aos quais você deseja conceder acesso.

10. Escolha Enviar para salvar as alterações nas configurações do seu domínio.

Agora você será capaz de usar os modelos básicos do Canvas para consultar documentos nos índices especificados do Amazon Kendra.

Iniciar uma nova conversa para gerar, extrair ou resumir conteúdo

Para começar a usar modelos básicos de IA generativa no Canvas, você pode iniciar uma nova sessão de chat com um dos modelos. Para JumpStart modelos, você é cobrado enquanto o modelo está ativo, então você deve inicializar os modelos quando quiser usá-los e desligá-los quando terminar de interagir. Se você não desligar um JumpStart modelo, o Canvas o desligará após 2 horas de inatividade. Para modelos Amazon Bedrock (como o Amazon Titan), você é cobrado imediatamente; os modelos já estão ativos e não precisam ser inicializados ou desligados. Você é cobrado diretamente pelo uso desses modelos pela Amazon Bedrock.

Para abrir um chat com uma modelo, faça o seguinte:

1. Abra o aplicativo SageMaker Canvas.

2. No painel de navegação à esquerda, selecione Modelos prontos para uso.

3. Escolha Gerar, extrair e resumir conteúdo.

4. Na página de boas-vindas, você receberá uma recomendação para iniciar o modelo padrão. Você pode iniciar o modelo recomendado ou escolher Selecionar outro modelo no menu suspenso para escolher um diferente.

5. Se você selecionou um modelo de JumpStart base, precisará iniciá-lo antes que ele esteja disponível para uso. Escolha Iniciar o modelo e, em seguida, o modelo será implantado em uma SageMaker instância. A conclusão dessa operação pode levar vários minutos. Quando o modelo estiver pronto, você poderá inserir solicitações e fazer perguntas ao modelo.

   Se você selecionou um modelo básico do Amazon Bedrock, pode começar a usá-lo instantaneamente inserindo uma solicitação e fazendo perguntas.

Dependendo do modelo, você pode realizar várias tarefas. Por exemplo, você pode inserir uma passagem de texto e pedir ao modelo que a resuma. Ou você pode pedir ao modelo que apresente um breve resumo das tendências do mercado em seu Domínio.

As respostas do modelo em um chat são baseadas no contexto de suas solicitações anteriores. Se você quiser fazer uma nova pergunta no chat que não esteja relacionada ao tópico da conversa anterior, recomendamos que você inicie um novo chat com o modelo.

Extrair informações de documentos com a consulta de documentos

nota

Esta seção pressupõe que você concluiu a seção Pré-requisitos para a consulta de documentos acima.

A consulta de documentos é um atributo que você pode usar ao interagir com modelos básicos no Canvas. Com a consulta de documentos, você pode acessar um corpus de documentos armazenados em um índice Amazon Kendra, que contém o conteúdo dos seus documentos e é estruturado de forma a tornar os documentos pesquisáveis. Você pode fazer perguntas específicas direcionadas aos dados do seu índice Amazon Kendra, e o modelo básico responderá às suas perguntas. Por exemplo, você pode consultar uma base de conhecimento interna de informações de TI e fazer perguntas como “Como faço para me conectar à rede da minha empresa?” Para obter mais informações sobre um índice, consulte o Guia do desenvolvedor do Amazon Kendra.

Ao usar o atributo de consulta de documentos, os modelos básicos restringem suas respostas ao conteúdo dos documentos em seu índice com uma técnica chamada Geração Aumentada de Recuperação (RAG). Essa técnica agrupa as informações mais relevantes do índice junto com a solicitação do usuário e as envia ao modelo básico para obter uma resposta. As respostas são limitadas ao que pode ser encontrado em seu índice, evitando que o modelo forneça respostas incorretas com base em dados externos. Para obter mais informações sobre esse processo, consulte a postagem do blog Crie rapidamente aplicativos de IA generativa de alta precisão em dados corporativos.

Para começar, em um chat com um modelo básico no Canvas, ative o botão Consulta de documentos na parte superior da página. No menu suspenso, selecione o índice do Amazon Kendra que você deseja consultar. Em seguida, você pode começar a fazer perguntas relacionadas aos documentos em seu índice.

Importante

A consulta de documentos é compatível com o atributo Comparar saídas do modelo. Qualquer histórico de chat existente é sobrescrito quando você inicia um novo chat para comparar as saídas do modelo.

Gerenciamento de modelos

nota

A seção a seguir descreve a inicialização e o desligamento de modelos, o que se aplica somente aos modelos básicos, como o JumpStart Falcon-40B-Instruct. Você pode acessar os modelos Amazon Bedrock, como o Amazon Titan, instantaneamente a qualquer momento.

Você pode iniciar quantos JumpStart modelos quiser. Cada JumpStart modelo ativo gera cobranças em sua conta, por isso recomendamos que você não inicie mais modelos do que os que está usando atualmente.

Para iniciar outro modelo, faça o seguinte:

1. Na página Gerar, extrair e resumir conteúdo, escolha Novo chat.

2. Escolha o modelo no menu suspenso. Se você quiser escolher um modelo não exibido no menu suspenso, escolha Iniciar outro modelo e, em seguida, selecione o modelo que você deseja inicializar.

3. Escolha Inicializar modelo.

O modelo começará a ser inicializado e, em alguns minutos, você poderá conversar com o modelo.

É altamente recomendável que você encerre os modelos que não está usando. Os modelos são encerrados automaticamente após 2 horas de inatividade. No entanto, para encerrar manualmente um modelo, faça o seguinte:

1. Na página Gerar, extrair e resumir conteúdo, abra o chat do modelo que você deseja encerrar.

2. Na página de chat, escolha o ícone Mais opções ( ).

3. Escolha Encerrar o modelo.

4. Na caixa de confirmação de Encerrar o modelo, escolha Encerrar.

O modelo começará a ser encerrado. Se seu chat comparar dois ou mais modelos, você pode encerrar um modelo individual na página de chat escolhendo o ícone Mais opções do modelo ( ) e, em seguida, escolhendo Encerrar o modelo.

Comparar saídas do modelo

Você pode querer comparar a saída de diferentes modelos lado a lado para ver qual saída de modelo você prefere. Isso pode ajudar você a decidir qual modelo melhor se adequa ao seu caso de uso. Você pode comparar até três modelos em chats.

nota

Cada modelo individual incorre em cobranças em sua conta.

Você deve iniciar um novo chat para adicionar modelos para comparação. Para comparar a saída dos modelos lado a lado em um chat, faça o seguinte:

1. Em um chat, escolha Novo chat.

2. Escolha Comparar e use o menu suspenso para selecionar o modelo que você deseja adicionar. Para adicionar um terceiro modelo, escolha Comparar novamente para adicionar outro modelo.

   nota

   Se você quiser usar um JumpStart modelo que não está ativo no momento, você será solicitado a inicializar o modelo.

Quando os modelos estão ativos, você verá os dois modelos lado a lado no chat. Você pode enviar sua solicitação e cada modelo responderá no mesmo chat, conforme mostrado na captura de tela a seguir.

Quando terminar de interagir, certifique-se de desligar todos JumpStart os modelos individualmente para evitar cobranças adicionais.

Implemente um modelo JumpStart básico

Se você quiser obter previsões de um modelo da Amazon SageMaker JumpStart Foundation por meio de um aplicativo ou site, você pode implantar o modelo em um SageMaker endpoint. SageMaker os endpoints hospedam seu modelo e você pode enviar solicitações ao endpoint por meio do código do aplicativo para receber previsões do modelo. Para ter mais informações, consulte Implantar seus modelos em um endpoint.