O que é um prompt?

Os prompts são um conjunto específico de entradas fornecidas por você, o usuário, que orientam os LLMs no Amazon Bedrock a gerar uma resposta ou saída adequada para uma determinada tarefa ou instrução.

User Prompt:
Who invented the airplane?

Quando consultado por esse prompt, o Titan fornece uma saída:

Output:
The Wright brothers, Orville and Wilbur Wright are widely credited 
with inventing and manufacturing the world's first successful airplane.

(Fonte do prompt: AWS, modelo usado: Amazon Titan Text)

Componentes de um prompt

Um único prompt inclui vários componentes, como a tarefa ou instrução que você deseja que os LLMs executem, o contexto da tarefa (por exemplo, uma descrição do domínio relevante), exemplos de demonstração e o texto de entrada que você deseja que os LLMs no Amazon Bedrock usem em sua resposta. Dependendo do caso de uso, da disponibilidade dos dados e da tarefa, o prompt deve combinar um ou mais desses componentes.

Considere este exemplo de prompt que pede ao Titan para resumir uma análise:

User Prompt:
The following is text from a restaurant review:

“I finally got to check out Alessandro’s Brilliant Pizza and it is now 
one of my favorite restaurants in Seattle. The dining room has a beautiful view 
over the Puget Sound but it was surprisingly not crowded. I ordered 
the fried castelvetrano olives, a spicy Neapolitan-style pizza 
and a gnocchi dish. The olives were absolutely decadent, and the pizza came 
with a smoked mozzarella, which was delicious. The gnocchi was fresh and wonderful. 
The waitstaff were attentive, and overall the experience was lovely. 
I hope to return soon." 

Summarize the above restaurant review in one sentence.

(Fonte do prompt: AWS)

Com base nesse prompt, o Titan responde com um resumo sucinto de uma linha da análise do restaurante. A análise menciona os principais fatos e transmite os pontos principais, conforme desejado.

Output: 
Alessandro's Brilliant Pizza is a fantastic restaurant in Seattle 
with a beautiful view over Puget Sound, decadent and delicious food, 
and excellent service.

(Modelo usado: Amazon Titan Text)

A instrução Summarize the above restaurant review in one sentence e o texto da análise I finally got to check out ... eram necessários para esse tipo de saída. Sem nenhum deles, o modelo não teria informações suficientes para produzir um resumo sensato. A instrução diz ao LLM o que fazer, e o texto é a entrada na qual o LLM opera. O contexto (The following is text from a restaurant review) fornece informações adicionais e palavras-chave que orientam o modelo a usar a entrada ao formular sua saída.

No exemplo abaixo, o texto Context: Climate change threatens people with increased flooding ... é a entrada que o LLM pode usar para realizar a tarefa de responder à pergunta Question: What organization calls climate change the greatest threat to global health in the 21st century?”.

User prompt:
Context: Climate change threatens people with increased flooding, 
extreme heat, increased food and water scarcity, more disease, and economic loss. 
Human migration and conflict can also be a result. The World Health Organization (WHO) 
calls climate change the greatest threat to global health in the 21st century. 
Adapting to climate change through efforts like flood control measures 
or drought-resistant crops partially reduces climate change risks, 
although some limits to adaptation have already been reached. 
Poorer communities are responsible for a small share of global emissions, 
yet have the least ability to adapt and are most vulnerable to climate change. 
The expense, time required, and limits of adaptation mean its success hinge 
on limiting global warming.

Question: What organization calls climate change the greatest threat 
to global health in the 21st century?

(Fonte do prompt: https://en.wikipedia.org/wiki/Climate_change)

Respostas do Jurassic da AI21 Labs com o nome correto da organização de acordo com o contexto fornecido no prompt.

Output:
The World Health Organization (WHO) calls climate change 
the greatest threat to global health in the 21st century.

(Modelo usado: Jurassic-2 Ultra v1 da AI21 Labs)

Prompt few shot versus prompt zero shot

Às vezes, é útil fornecer alguns exemplos para ajudar os LLMs a calibrar melhor sua saída para atender às suas expectativas, também conhecidos como solicitação de algumas tomadas ou aprendizado contextual, em que uma foto corresponde a um exemplo de entrada emparelhado e à saída desejada. Para ilustrar, primeiro, aqui está um exemplo de um prompt de classificação de sentimentos zero em que nenhum exemplo de par de entrada-saída é fornecido no texto do prompt:

User prompt:
Tell me the sentiment of the following headline and categorize it 
as either positive, negative or neutral: 
New airline between Seattle and San Francisco offers a great opportunity 
for both passengers and investors.

(Fonte do prompt: AWS)

Output:
Positive

(Modelo usado: Amazon Titan Text)

Esta é a versão few shot de um prompt de classificação de sentimentos:

User prompt: 
Tell me the sentiment of the following headline and categorize it 
as either positive, negative or neutral. Here are some examples:

Research firm fends off allegations of impropriety over new technology.
Answer: Negative

Offshore windfarms continue to thrive as vocal minority in opposition dwindles.
Answer: Positive

Manufacturing plant is the latest target in investigation by state officials.
Answer:

(Fonte do prompt: AWS)

Output: 
Negative

(Modelo usado: Amazon Titan Text)

O exemplo a seguir usa modelos Claude da Anthropic. Ao usar modelos Claude da Anthropic, é uma boa prática usar tags <example></example> para incluir exemplos de demonstração. Também é recomendável usar delimitadores diferentes, como H: e A: nos exemplos, para evitar confusão com os delimitadores Human: e Assistant: do prompt inteiro. Observe que, no último exemplo de few shot, A: final é deixada de lado em troca de Assistant:, fazendo com que o Claude da Anthropic gere a resposta.

User prompt: 


Human: Please classify the given email as "Personal" or "Commercial" related emails.
Here are some examples.

<example>
H: Hi Tom, it's been long time since we met last time. We plan to have a party at my house this weekend. Will you be able to come over?
A: Personal
</example>

<example>
H: Hi Tom, we have a special offer for you. For a limited time, our customers can save up to 35% of their total expense when you make reservations within two days. Book now and save money!
A: Commercial
</example>

H: Hi Tom, Have you heard that we have launched all-new set of products. Order now, you will save $100 for the new products. Please check our website.

Assistant:

Output: 
Commercial

(Fonte do prompt: AWS, modelo usado: Claude da Anthropic)

Modelo de prompt

Um modelo de prompt especifica a formatação do prompt com conteúdo intercambiável nele. Os modelos de prompt são “receitas” para usar LLMs em diferentes casos de uso, como classificação, resumo, resposta a perguntas e muito mais. Um modelo de prompt pode incluir instruções, alguns exemplos breves, contexto específico e perguntas apropriadas para determinado caso de uso. O exemplo a seguir é um modelo que você pode usar para realizar uma classificação rápida de sentimentos usando modelos de texto do Amazon Bedrock:

Prompt template: 
"""Tell me the sentiment of the following 
{{Text Type, e.g., “restaurant review”}} and categorize it 
as either {{Sentiment A}} or {{Sentiment B}}. 
Here are some examples:

Text: {{Example Input 1}} 
Answer: {{Sentiment A}}

Text: {{Example Input 2}}
Answer: {{Sentiment B}}

Text: {{Input}}
Answer:"""

Os usuários podem copiar e colar esse modelo, preenchendo seu próprio texto e alguns exemplos para preencher os prompts ao usar LLMs no Amazon Bedrock. Mais modelos são fornecidos nesta seção.

nota

Os colchetes duplos {{ and }} marcam os locais para inserir informações específicas de dados no modelo e não devem ser incluídos no texto do prompt.

Manter o recall das solicitações de inferência do Amazon Bedrock

Se você acessar modelos do Amazon Bedrock por meio de chamadas de API, saiba que eles não se lembram de prompts e de solicitações anteriores, a menos que a interação anterior esteja incluída no prompt atual. A inclusão de prompts anteriores em uma solicitação permite que você tenha interações de estilo conversacional ou faça solicitações de acompanhamento.

Se estiver acessando modelos Claude da Anthropic que usam chamadas de API em vez do playground de texto do Amazon Bedrock, agrupe os prompts em um estilo de conversação para obter a resposta desejada (para a família de modelos de texto do Titan e Jurassic da AI21 Labs, isso não é necessário). O exemplo a seguir demonstra um prompt de estilo de conversação:

User prompt: 
	
	
Human: Describe where sea otters live in two sentences.

Assistant:

Output: 
Here is a two sentence description of where sea otters live:

Sea otters live in the northern Pacific Ocean along the coasts of 
Russia, Alaska, Canada, and the continental United States. 
They prefer coastal habitats like rocky shores, kelp forests, 
and estuaries where they have access to shallow, nearshore waters.

(Fonte do prompt: AWS, modelo usado: Claude da Anthropic)

Observe que o conteúdo principal do prompt é encapsulado de modo semelhante a \n\nHuman: {{Main Content}}\n\nAssistant:. Para modelos Claude da Anthropic, os prompts enviados por meio da API devem conter \n\nHuman: e \n\nAssistant:.

Para usar o modo conversacional no Titan, é possível usar o formato de User: {{}} \n Bot: ao solicitar o modelo.