Interruzione di un processo di valutazione del modello

I seguenti esempi mostrano come interrompere un processo di valutazione del modello utilizzando la console Amazon Bedrock e AWS CLI Boto3

Amazon Bedrock console

Utilizza la seguente procedura per creare un processo di valutazione del modello utilizzando la console Amazon Bedrock. Per completare correttamente questa procedura, assicurati che il tuo utente, gruppo o ruolo IAM disponga delle autorizzazioni sufficienti per accedere alla console. Per ulteriori informazioni, consulta Autorizzazioni necessarie per creare un processo di valutazione del modello utilizzando la console Amazon Bedrock.

Inoltre, tutti i set di dati di prompt personalizzati che desideri specificare nel processo di valutazione del modello devono avere le autorizzazioni CORS richieste aggiunte al bucket Amazon S3. Per ulteriori informazioni sull'aggiunta delle autorizzazioni CORS richieste, consulta,. Autorizzazione Cross Origin Resource Sharing (CORS) richiesta per i bucket S3

Per creare un lavoro di valutazione dei modelli che utilizzi lavoratori umani

1. Apri la console Amazon Bedrock all'indirizzo https://console.aws.amazon.com/bedrock/

2. Nel riquadro di navigazione seleziona Valutazione del modello.

3. Nella sceda Sviluppa una valutazione, in Automatico scegli Crea una valutazione automatica.

4. Nella pagina Crea una valutazione automatica, fornisci le seguenti informazioni

   1. Nome di valutazione: assegna al processo di valutazione del modello un nome che descriva il processo. Questo nome viene mostrato nell'elenco dei processi del modello di valutazione. Il nome deve essere unico Account AWS nel tuo nome. Regione AWS

   2. Descrizione (facoltativa): fornisci una descrizione facoltativa.

   3. Modelli: scegli il modello che desideri utilizzare nel processo di valutazione del modello.

      Per ulteriori informazioni sui modelli disponibili e su come accedervi in Amazon Bedrock, consultaGestisci l'accesso ai modelli Amazon Bedrock Foundation.

   4. (Facoltativo) Per modificare la configurazione dell'inferenza, scegli Aggiorna.

      La modifica della configurazione di inferenza modifica le risposte generate dal modello selezionato. Per ulteriori informazioni sui parametri di inferenza disponibili, consulta Parametri di inferenza per modelli di fondazione.

   5. Tipo di attività: scegli il tipo di attività che desideri che il modello tenti di eseguire durante il processo di valutazione del modello.

   6. Metriche e set di dati: l'elenco delle metriche disponibili e dei set di dati dei prompt integrati cambia in base all'attività selezionata. Puoi scegliere dall'elenco Set di dati integrati disponibili oppure puoi scegliere Usa il tuo set di dati dei prompt. Se scegli di utilizzare il tuo set di dati di prompt, inserisci l'esatto URI S3 del file del set di dati di prompt memorizzato o scegli Browse S3 per cercare il tuo set di dati di prompt.

   7. Risultati della valutazione: specifica l'URI S3 della directory in cui desideri salvare i risultati del processo di valutazione del modello. Scegli Browse S3 per cercare una posizione in Amazon S3.

   8. (Facoltativo) Per abilitare l'uso di una chiave gestita dal cliente, scegli Personalizza le impostazioni di crittografia (avanzate). Quindi, fornisci l'ARN della AWS KMS chiave che desideri utilizzare.

   9. Ruolo IAM di Amazon Bedrock: scegli Usa un ruolo esistente per utilizzare un ruolo di servizio IAM che dispone già delle autorizzazioni richieste oppure scegli Crea un nuovo ruolo per creare un nuovo ruolo di servizio IAM,

5. Quindi scegli Create (Crea).

Una volta che il lavoro è iniziato, lo stato cambia in corso. Una volta che lo stato cambia, puoi visualizzare la pagella del lavoro.

SDK for Python

Procedura

import boto3
							client = boto3.client('bedrock')

							job_request = client.create_evaluation_job(
							jobName="111122223333-job-01",
							jobDescription="two different task types",
							roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role",
							inferenceConfig={
							## You must specify an array of models
							"models": [
							{
							"bedrockModel": {
							"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
							"inferenceParams":"{\"temperature\":\"0.0\", \"topP\":\"1\", \"maxTokenCount\":\"512\"}"
							}

							},
							{
							"bedrockModel": {
							"modelIdentifier": "anthropic.claude-v2",
							"inferenceParams": "{\"temperature\":\"0.25\",\"top_p\":\"0.25\",\"max_tokens_to_sample\":\"256\",\"top_k\":\"1\"}"
							}
							}
							]

							},
							outputDataConfig={
							"s3Uri":"s3://job-bucket/outputs/"
							},
							evaluationConfig={
							"human": {
							"humanWorkflowConfig": {
							"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn",
							"instructions": "some human eval instruction"
							},
							"customMetrics": [
							{
							"name": "IndividualLikertScale",
							"description": "testing",
							"ratingMethod": "IndividualLikertScale"
							}
							],
							"datasetMetricConfigs": [
							{
							"taskType": "Summarization",
							"dataset": {
							"name": "Custom_Dataset1",
							"datasetLocation": {
							"s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl"
							}
							},
							"metricNames": [
							"IndividualLikertScale"
							]
							}
							]
							}

							}
							)

							print(job_request)

AWS CLI

In AWS CLI, è possibile utilizzare il help comando per vedere quali parametri sono obbligatori e quali parametri sono facoltativi quando si specifica add-something in. AWS CLI

aws bedrock create-evaluation-job help

Di seguito è riportato un esempio di richiesta che avvierà un processo di valutazione del modello basato sull'uomo utilizzando. AWS CLI

SOMETHINGGGGGGGG GOES HEREEEEEEEEEE