翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon でモデル評価ジョブを作成する際のエラーを解決する SageMaker
重要
SageMaker Clarify Foundation Model Evaluations (FMEval) を使用するには、新しい Studio エクスペリエンスにアップグレードする必要があります。
2023 年 11 月 30 日現在、以前の Amazon SageMaker Studio エクスペリエンスは Amazon SageMaker Studio Classic と名付けられています。FMEval は Amazon SageMaker Studio Classic では使用できません。
新しい Studio エクスペリエンスにアップグレードする方法については、「」を参照してくださいAmazon SageMaker Studio Classic からの移行。Studio Classic アプリケーションの使用については、「」を参照してくださいAmazon SageMaker Studio Classic。
モデル評価ジョブの作成中にエラーが発生した場合は、次のリストを使用して評価のトラブルシューティングを行います。さらにサポートが必要な場合は、 AWS Support
トピック
Amazon S3 バケットからのデータのアップロードエラー
基盤モデル評価を作成するときは、モデルの入出力を保存する S3 バケットに正しいアクセス許可を設定する必要があります。クロスオリジンリソース共有 (CORS) アクセス許可が正しく設定されていない場合、 SageMakerは次のエラーを生成します。
エラー: s3 にオブジェクトを配置できませんでした: s3Errorリソースの取得 NetworkError 時に S3: にオブジェクトを配置できませんでした。
正しいバケットアクセス許可を設定するには、「 の環境のセットアップ」の指示に従いますStudio で自動モデル評価ジョブを作成する。
処理ジョブを完了できませんでした
処理ジョブを完了できなかった最も一般的な理由は次のとおりです。
各問題の軽減に役立つ以下のセクションを参照してください。
クォータが不十分
デプロイ JumpStartされていないモデルの基盤モデル評価を実行すると、 SageMaker Clarify は大言語モデル (LLM) をアカウントの SageMaker エンドポイントにデプロイします。選択した JumpStart モデルを実行するのに十分なクォータがアカウントにない場合、ジョブは で失敗しますClientError。クォータを増やすには、次の手順に従います。
AWS Service Quotas の引き上げをリクエストする
-
画面上のエラーメッセージからインスタンス名、現在のクォータ、必要なクォータを取得します。例えば、次のエラーの場合：
-
インスタンス名は です
ml.g5.12xlarge。 -
次の数値からの現在のクォータは
current utilizationです。0 instances -
次の番号から追加の必須クォータは
request deltaです1 instances。
サンプルエラーは次のとおりです。
ClientError: An error occurred (ResourceLimitExceeded) when calling the CreateEndpoint operation: The account-level service limit 'ml.g5.12xlarge for endpoint usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please use AWS Service Quotas to request an increase for this quota. If AWS Service Quotas is not available, contact AWS support to request an increase for this quota -
-
にサインイン AWS Management Console し、Service Quotas コンソール
を開きます。 -
ナビゲーションペインの クォータの管理 で、 を入力します
Amazon SageMaker。 -
クォータの表示 を選択します。
-
サービスクォータ の検索バーに、ステップ 1 のインスタンスの名前を入力します。例えば、ステップ 1 のエラーメッセージに含まれる情報を使用して、 を入力します
ml.g5.12xlarge。 -
インスタンス名の横にあるクォータ名を選択し、エンドポイントの使用のために で終了します。例えば、ステップ 1 のエラーメッセージに含まれる情報を使用して、エンドポイントの使用に ml.g5.12xlarge を選択します。
-
アカウントレベルの リクエストの増加 を選択します。
-
「クォータ値を増やす」で、ステップ 1 のエラーメッセージに記載されている情報から必要なクォータを入力します。
current utilizationと の合計を入力しますrequest delta。前のエラー例では、current utilizationは で0 Instances、request deltaは です1 Instances。この例では、必要なクォータを指定する1ように のクォータをリクエストします。 -
[リクエスト] を選択します。
-
ナビゲーションペインからクォータリクエスト履歴を選択します。
-
ステータスが保留中から承認済みに変わったら、ジョブを再実行します。変更を確認するには、ブラウザを更新する必要がある場合があります。
クォータの引き上げのリクエストの詳細については、「クォータの引き上げのリクエスト」を参照してください。
メモリ不足
評価アルゴリズムを実行するのに十分なメモリがない Amazon EC2インスタンスで基盤モデル評価を開始すると、ジョブは失敗し、次のエラーが発生します。
The actor is dead because its worker process has died. Worker exit type:
SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection
error code 2. End of file. There are some potential root causes. (1) The
process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray
stop --force is called. (3) The worker is crashed unexpectedly due to
SIGSEGV or other unexpected errors. The actor never ran - it was cancelled
before it started running.
評価ジョブで使用できるメモリを増やすには、インスタンスをメモリ量の多いインスタンスに変更します。ユーザーインターフェイスを使用している場合は、ステップ 2 のプロセッサ設定でインスタンスタイプを選択できます。コンソール内で SageMakerジョブを実行している場合は、メモリ容量が増加したインスタンスを使用して新しいスペースを起動します。
Amazon EC2インスタンスのリストについては、「インスタンスタイプ」を参照してください。
メモリ容量が大きいインスタンスの詳細については、「メモリ最適化インスタンス」を参照してください。
ping チェックに合格しませんでした
場合によっては、 がエンドポイントをデプロイしたときに ping チェックに合格しなかったため、基盤モデル評価ジョブ SageMaker が失敗することがあります。ping テストに合格しない場合、次のエラーが表示されます。
ClientError: Error hosting endpoint
your_endpoint_name: Failed. Reason: The
primary container for production variant AllTraffic did not pass the ping
health check. Please check CloudWatch logs for this endpoint..., Job exited
for model: your_model_name of model_type:
your_model_type
ジョブがこのエラーを生成する場合は、数分待ってからジョブを再度実行します。エラーが解決しない場合は、Amazon AWS のサポート
SageMaker コンソールに基盤モデル評価が見つかりません
SageMaker Clarify Foundation Model Evaluations を使用するには、新しい Studio エクスペリエンスにアップグレードする必要があります。2023 年 11 月 30 日現在、以前の Amazon SageMaker Studio エクスペリエンスは Amazon SageMaker Studio Classic と名付けられています。基盤評価機能は、更新されたエクスペリエンスでのみ使用できます。Studio を更新する方法については、「」を参照してくださいAmazon SageMaker Studio Classic からの移行。
モデルはプロンプトのステレオタイプ化をサポートしていません
一部の JumpStart モデルのみがプロンプトのステレオタイプをサポートしています。サポートされていない JumpStart モデルを選択すると、次のエラーが表示されます。
{"evaluationMetrics":"This model does not support Prompt stereotyping
evaluation. Please remove that evaluation metric or select another model that
supports it."}
このエラーが表示された場合は、選択したモデルを基盤評価で使用することはできません。 SageMaker Clarify は現在、プロンプトステレオタイプタスクのすべての JumpStart モデルを更新して、基盤モデル評価で使用できるようにしています。
データセット検証エラー (Human)
ヒューマンワーカーを使用するモデル評価ジョブのカスタムプロンプトデータセットは、.jsonl拡張子を使用してJSON行形式を使用してフォーマットする必要があります。
ジョブを開始すると、プロンプトデータセット内の各JSONオブジェクトは相互依存的に検証されます。JSON オブジェクトのいずれかが有効でない場合、次のエラーが発生します。
Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.
カスタムプロンプトデータセットがすべての検証に合格するには、JSON行ファイル内のすべてのJSONオブジェクトに対して次の値が true である必要があります。
-
プロンプトデータセットファイルの各行は、有効なJSONオブジェクトである必要があります。
-
引用符 (
") などの特殊文字は適切にエスケープする必要があります。例えば、プロンプトが次の場合"Claire said to the crowd, "Bananas are the best!""、引用符は\、 を使用してエスケープする必要があります"Claire said to the crowd, \"Bananas are the best!\""。 -
有効なJSONオブジェクトには、少なくとも
promptキーと値のペアが含まれている必要があります。 -
プロンプトデータセットファイルには、1 つのファイルに 1,000 個を超えるJSONオブジェクトを含めることはできません。
-
オブジェクトで
responsesキーを指定する場合はJSON、すべてのJSONオブジェクトに存在する必要があります。 -
responsesキー内のオブジェクトの最大数は 1 です。比較する複数のモデルからのレスポンスがある場合、それぞれに個別のBYOIデータセットが必要です。 -
任意のJSONオブジェクトで
responsesキーを指定する場合、すべてのresponsesオブジェクトに キーmodelIdentifierとtextキーを含める必要があります。
