Tutoriales de cuadernos de evaluación de modelos

En esta sección, se proporcionan los siguientes tutoriales sobre cuadernos, que incluyen código de ejemplo y explicaciones:

• Cómo evaluar un JumpStart modelo para estereotipar rápidamente.

• Cómo evaluar la exactitud del resumen de texto de un modelo de Amazon Bedrock.

Temas

• Evalúe un JumpStart modelo para estereotipar rápidamente

• Evaluación de la exactitud del resumen de texto de un modelo de Amazon Bedrock.

• Cuadernos adicionales

Cuadernos adicionales

El GitHub directorio fmeval contiene los siguientes ejemplos de cuadernos adicionales:

• bedrock-claude-factual-knowledge.ipnyb: evalúa un modelo antrópico de Claude 2 alojado en Amazon Bedrock para obtener conocimiento fáctico.

• byo-model-outputs.ipynb: evalúa un modelo Falcon 7b alojado en él JumpStart para obtener información objetiva, en el que usted aporta los resultados de su propio modelo en lugar de enviar solicitudes de inferencia a su modelo.

• custom_model_runner_chat_gpt.ipnyb: evalúa un modelo de ChatGPT 3.5 personalizado alojado en Hugging Face para obtener conocimiento fáctico.