自動モデル評価

Studio で自動モデル評価を作成するか、独自のコード内で fmeval ライブラリを使用して自動モデル評価を作成できます。Studio ではウィザードを使用してモデル評価ジョブを作成します。fmeval ライブラリは、ワークフローをさらにカスタマイズするためのツールを提供しています。

いずれのタイプの自動モデル評価ジョブも、公開されている JumpStart モデルと、既にエンドポイントにデプロイした JumpStart モデルの使用をサポートしています。以前にデプロイされていない JumpStart を使用する場合、SageMaker AI は必要なリソースの作成を処理し、モデル評価ジョブが完了するとシャットダウンします。

の外部でホストされている他の AWS サービスまたはモデルからテキストベースの LLMs を使用するには AWS、 fmevalライブラリを使用する必要があります。

ジョブが完了すると、ジョブの作成時に指定した Amazon S3 バケットに結果が保存されます。結果を解釈する方法については、「モデル評価ジョブの結果を理解する」を参照してください。