翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
自動モデル評価
Studio で自動モデル評価を作成するか、独自のコード内のfmevalライブラリを使用してモデル評価を作成できます。Studio はウィザードを使用してモデル評価ジョブを作成します。fmeval ライブラリには、ワークフローをさらにカスタマイズするためのツールが用意されています。
どちらのタイプの自動モデル評価ジョブも、公開されている JumpStart モデルと、以前にエンドポイントにデプロイした JumpStart モデルの使用をサポートしています。以前にデプロイされた JumpStart ことのない を使用する場合、 SageMaker は必要なリソースの作成を処理し、モデル評価ジョブが完了するとシャットダウンします。
他の AWS サービスまたは の外部でホストされているモデルLLMsからのテキストを使用するには AWS、 fmevalライブラリを使用する必要があります。
ジョブが完了すると、ジョブの作成時に指定された Amazon S3 バケットに結果が保存されます。結果を解釈する方法については、「」を参照してくださいモデル評価ジョブの結果を理解する。
