翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
トライアル検出タスクでモデルを検証する
モデルの品質を検証または改善したい場合は、トライアル検出タスクを実行できます。トライアル検出タスクは、提供された新しい画像の異常を検出します。
検出結果を確認し、検証した画像をデータセットに追加できます。個別のトレーニングデータセットとテストデータセットがある場合、検証済みの画像がトレーニングデータセットに追加されます。
ローカルコンピュータからの画像、または Amazon S3 バケットにある画像を検証できます。検証済み画像をデータセットに追加する場合、S3 バケットに配置された画像は、データセット内の画像と同じ S3 バケット内に存在する必要があります。
トライアル検出タスクを実行するには、S3 バケットでバージョニングが有効になっていることを確認します。詳細については、「バージョニングの使用」を参照してください。コンソールバケットは、バージョニングが有効になっている状態で作成されます。
デフォルトでは、画像は AWS が所有および管理するキーで暗号化されます。また、独自の AWS Key Management Service (KMS) キーを使用することもできます。詳細については、「AWS Key Management Service の概念」を参照してください。
トライアル検出タスクの実行
トライアル検出タスクを実行するには、次の手順を実行します。
トライアル検出を実行するには (コンソール)
https://console.aws.amazon.com/lookoutvision/
で Amazon Lookout for Vision コンソールを開きます。 [Get started] (開始方法) を選択します。
左側のナビゲーションペインで、[Projects] (プロジェクト) を選択します。
プロジェクトビューで、トレーニングしたいモデルを含むプロジェクトを選択します。
左側のナビゲーションペインで、プロジェクト名の下にある [Trial detections] (トライアル検出) を選択します。
[トライアル検出] ビューで、[Run trial detection] (トライアル検出の実行) を選択します。
[Run trial detection] (トライアル検出の実行) ページで、[Task name] (タスク名) にトライアル検出タスクの名前を入力します。
[Choose model] (モデル選択) で、使用するそのモデルのバージョンを選択します。
次のように、画像のソースに従って画像をインポートします。
Amazon S3 バケットからソース画像をインポートする場合は、S3 URI を入力します。
ヒント スタートガイドのサンプル画像を使用している場合は、[extra_images] (エクストライメージ) フォルダーを使用します。Amazon S3 URI は
s3://です。your bucket/circuitboard/extra_imagesコンピュータから画像をアップロードする場合は、[Detect anomalies] (異常を検出する) を選択した後に画像を追加してください。
(オプション) 独自の AWS KMS 暗号化キーを使用する場合は、次の手順を実行します。
[Image data encryption] (画像データの暗号化) については、[Customize encryption settings (advanced)] (暗号化設定のカスタマイズ (詳細)) を選択します。
[encryption.aws_kms_key] に、キーの Amazon リソースネーム (ARN) を入力するか、既存の AWS KMS キーを選択します。新しいキーを作成するには、[Create an AWS IMS key] (AWS IMS キーを作成する) を選択します。
[Detect anomalies] (異常を検出する) を選択してから、[Run trial detection] (トライアル検出を実行する) を選択して、トライアル検出タスクを開始します。
[トライアル検出] ビューで現在のステータスを確認します。トライアル検出が完了するまでに時間がかかる場合があります。
トライアル検出結果の確認
トライアル検出の結果を検証すると、モデルの改善に役立ちます。
パフォーマンスメトリクスが悪い場合は、トライアル検出を実行してモデルを改善し、検証済みの画像をデータセット (別のデータセットがある場合は、トレーニングデータセット) に追加します。
モデルのパフォーマンスメトリクスは良好で、トライアル検出の結果が悪い場合は、検証済み画像をデータセット (トレーニングデータセット) に追加してモデルを改善できます。別のテストデータセットがある場合は、テストデータセットに画像を追加することを検討してください。
検証済み画像をデータセットに追加したら、モデルを再トレーニングして再評価します。詳細については、「モデルのトレーニング」を参照してください。
トライアル検出の結果を検証するには
https://console.aws.amazon.com/lookoutvision/
で Amazon Lookout for Vision コンソールを開きます。 左側のナビゲーションペインで、[Projects] (プロジェクト) を選択します。
[Projects] (プロジェクト) ページで、削除するプロジェクトを選択します。プロジェクトのダッシュボードが表示されます。
左側のナビゲーションペインで、[Trial detections] (トライアル検出) を選択します。
検証したいトライアル検出を選択します。
[トライアル検出] ページで、[Verify machine predictions] (マシンの予測を確認する) を選択します。
[Select all images on this page] (このページのすべての画像を選択) をクリックします。
予測が正しい場合は、[Verify as correct] (正しいことを確認する) を選択します。それ以外の場合は、[Verify as incorrect] (正しくないことを確認する) を選択します。予測と予測の信頼スコアは、各画像の下に表示されます。
画像のラベルを変更する必要がある場合は、以下を実行します。
画像の下の [Correct] (正しい)、または[Incorrect] (正しくない) のいずれかを選びます。
画像の正しいラベルを特定できない場合は、ギャラリーで画像を選択して画像を拡大してください。
注記 [Filters] (フィルタ) セクションで目的のラベル、またはラベルの状態を選択することで、画像ラベルをフィルターすることができます。[Sorting options] (並べ替えオプション) で、信頼度スコアで並べ替えができます。
-
モデルがセグメンテーションモデルで、画像のマスクまたは異常ラベルが間違っている場合は、画像の下にある [異常領域] を選択し、注釈ツールを開きます。を使用してセグメンテーション情報を更新します注釈ツールによるセグメンテーションラベルの修正。
すべての画像が検証されるまで、必要に応じて各ページで手順 7～10 を繰り返します。
[Add verified images to dataset] (検証済み画像をデータセットに追加する) を選択します。個別のデータセットがある場合、画像はトレーニングデータセットに追加されます。
モデルをトレーニングする 詳細については、「モデルのトレーニング」を参照してください。
注釈ツールによるセグメンテーションラベルの修正
注釈ツールを使用して、異常な領域をマスクでマークして画像を分割します。
注釈ツールを使用して画像のセグメンテーションラベルを修正するには
データセットギャラリーの画像の下にある異常領域を選択して、アノテーションツールを開きます。
マスクの異常ラベルが正しくない場合は、マスクを選択し、次に [異常ラベル] で正しい異常ラベルを選択します。必要に応じて、[異常ラベルを追加] を選択して新しい異常ラベルを追加します。
マスクが正しくない場合は、ページの下部にある描画ツールを選択し、異常領域をしっかりと覆うマスクをアノマリーラベルに描画します。次の図は、異常をしっかりと覆うマスクの例です。
以下は、異常をしっかりカバーしていない貧弱なマスクの例です。
修正する画像が他にもある場合は、[次へ] を選択し、手順 2 と 3 を繰り返します。
[送信して閉じる] を選択して画像の更新を完了します。
