Evaluierung mit Inspect AI

Sie können Ihre maßgeschneiderten Amazon Nova-Modelle mit Inspect AI, einem Open-Source-Evaluierungsframework, bewerten. Inspect AI unterstützt standardisierte Benchmarks aus der KI-Forschungsgemeinschaft, sodass Sie die Modellleistung anhand von Wissens-, Argumentations-, Kodierungs- und Sicherheitsaufgaben messen können.

Wählen Sie den Bewertungsansatz, der am besten zu Ihrem Arbeitsablauf passt:

• Inspect AI SDK — Führen Sie Evaluierungen interaktiv von einem Notebook oder einer lokalen Umgebung aus anhand Ihres SageMaker Inferenzendpunkts durch. Ideal für Entwicklung, Iteration und schnelle Tests.

• KI-Container inspizieren — Führen Sie Evaluierungen in großem Umfang als SageMaker Schulungsjobs durch. Ideal für Pipelines zur Produktionsbewertung, die Verkettung mehrerer Benchmarks und automatisierte Workflows.

Empfohlener Arbeitsablauf: Beginnen Sie mit dem Inspect AI SDK, um Ihre benutzerdefinierten Evaluierungs-Benchmarks mithilfe der Onboarding-Aufforderung des KI-Assistenten zu erstellen und zu testen, und führen Sie dann Evaluierungen anhand Ihrer bevorzugten Inferenzlösung durch. Sobald Ihre Benchmarks vollständig validiert sind, können Sie mithilfe des Inspect AI-Containers nahtlos zur auftragsbasierten Evaluierung wechseln — ohne dass Codeänderungen erforderlich sind. Verschieben Sie einfach Ihre Benchmark-Dateien und die Rezeptdatei nach S3 und starten Sie den Job.

Themen

• Mit Inspect AI SDK auswerten

• Mit Inspect AI Container auswerten