トライアル検出タスクでモデルを検証する - Amazon Lookout for Vision

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

トライアル検出タスクでモデルを検証する

モデルの品質を検証または改善したい場合は、トライアル検出タスクを実行できます。トライアル検出タスクは、提供された新しい画像の異常を検出します。

検出結果を確認し、検証した画像をデータセットに追加できます。個別のトレーニングデータセットとテストデータセットがある場合、検証済みの画像がトレーニングデータセットに追加されます。

ローカルコンピュータからの画像、または Amazon S3 バケットにある画像を検証できます。検証済み画像をデータセットに追加する場合、S3 バケットに配置された画像は、データセット内の画像と同じ S3 バケット内に存在する必要があります。

注記

トライアル検出タスクを実行するには、S3 バケットでバージョニングが有効になっていることを確認します。詳細については、「バージョニングの使用」を参照してください。コンソールバケットは、バージョニングが有効になっている状態で作成されます。

デフォルトでは、画像は AWS が所有および管理するキーで暗号化されます。また、独自の AWS Key Management Service (KMS) キーを使用することもできます。詳細については、「AWS Key Management Service の概念」を参照してください。

トライアル検出タスクの実行

トライアル検出タスクを実行するには、次の手順を実行します。

トライアル検出を実行するには (コンソール)
  1. https://console.aws.amazon.com/lookoutvision/ で Amazon Lookout for Vision コンソールを開きます。

  2. [Get started] (開始方法) を選択します。

  3. 左側のナビゲーションペインで、[Projects] (プロジェクト) を選択します。

  4. プロジェクトビューで、トレーニングしたいモデルを含むプロジェクトを選択します。

  5. 左側のナビゲーションペインで、プロジェクト名の下にある [Trial detections] (トライアル検出) を選択します。

  6. [トライアル検出] ビューで、[Run trial detection] (トライアル検出の実行) を選択します。

  7. [Run trial detection] (トライアル検出の実行) ページで、[Task name] (タスク名) にトライアル検出タスクの名前を入力します。

  8. [Choose model] (モデル選択) で、使用するそのモデルのバージョンを選択します。

  9. 次のように、画像のソースに従って画像をインポートします。

    • Amazon S3 バケットからソース画像をインポートする場合は、S3 URI を入力します。

      ヒント

      スタートガイドのサンプル画像を使用している場合は、[extra_images] (エクストライメージ) フォルダーを使用します。Amazon S3 URI は s3://your bucket/circuitboard/extra_images です。

    • コンピュータから画像をアップロードする場合は、[Detect anomalies] (異常を検出する) を選択した後に画像を追加してください。

  10. (オプション) 独自の AWS KMS 暗号化キーを使用する場合は、次の手順を実行します。

    1. [Image data encryption] (画像データの暗号化) については、[Customize encryption settings (advanced)] (暗号化設定のカスタマイズ (詳細)) を選択します。

    2. [encryption.aws_kms_key] に、キーの Amazon リソースネーム (ARN) を入力するか、既存の AWS KMS キーを選択します。新しいキーを作成するには、[Create an AWS IMS key] (AWS IMS キーを作成する) を選択します。

  11. [Detect anomalies] (異常を検出する) を選択してから、[Run trial detection] (トライアル検出を実行する) を選択して、トライアル検出タスクを開始します。

  12. [トライアル検出] ビューで現在のステータスを確認します。トライアル検出が完了するまでに時間がかかる場合があります。

トライアル検出結果の確認

トライアル検出の結果を検証すると、モデルの改善に役立ちます。

パフォーマンスメトリクスが悪い場合は、トライアル検出を実行してモデルを改善し、検証済みの画像をデータセット (別のデータセットがある場合は、トレーニングデータセット) に追加します。

モデルのパフォーマンスメトリクスは良好で、トライアル検出の結果が悪い場合は、検証済み画像をデータセット (トレーニングデータセット) に追加してモデルを改善できます。別のテストデータセットがある場合は、テストデータセットに画像を追加することを検討してください。

検証済み画像をデータセットに追加したら、モデルを再トレーニングして再評価します。詳細については、「モデルのトレーニング」を参照してください。

トライアル検出の結果を検証するには
  1. https://console.aws.amazon.com/lookoutvision/ で Amazon Lookout for Vision コンソールを開きます。

  2. 左側のナビゲーションペインで、[Projects] (プロジェクト) を選択します。

  3. [Projects] (プロジェクト) ページで、削除するプロジェクトを選択します。プロジェクトのダッシュボードが表示されます。

  4. 左側のナビゲーションペインで、[Trial detections] (トライアル検出) を選択します。

  5. 検証したいトライアル検出を選択します。

  6. [トライアル検出] ページで、[Verify machine predictions] (マシンの予測を確認する) を選択します。

  7. [Select all images on this page] (このページのすべての画像を選択) をクリックします。

  8. 予測が正しい場合は、[Verify as correct] (正しいことを確認する) を選択します。それ以外の場合は、[Verify as incorrect] (正しくないことを確認する) を選択します。予測と予測の信頼スコアは、各画像の下に表示されます。

  9. 画像のラベルを変更する必要がある場合は、以下を実行します。

    1. 画像の下の [Correct] (正しい)、または[Incorrect] (正しくない) のいずれかを選びます。

    2. 画像の正しいラベルを特定できない場合は、ギャラリーで画像を選択して画像を拡大してください。

    注記

    [Filters] (フィルタ) セクションで目的のラベル、またはラベルの状態を選択することで、画像ラベルをフィルターすることができます。[Sorting options] (並べ替えオプション) で、信頼度スコアで並べ替えができます。

  10. モデルがセグメンテーションモデルで、画像のマスクまたは異常ラベルが間違っている場合は、画像の下にある [異常領域] を選択し、注釈ツールを開きます。を使用してセグメンテーション情報を更新します注釈ツールによるセグメンテーションラベルの修正

  11. すべての画像が検証されるまで、必要に応じて各ページで手順 7~10 を繰り返します。

  12. [Add verified images to dataset] (検証済み画像をデータセットに追加する) を選択します。個別のデータセットがある場合、画像はトレーニングデータセットに追加されます。

  13. モデルをトレーニングする 詳細については、「モデルのトレーニング」を参照してください。

注釈ツールによるセグメンテーションラベルの修正

注釈ツールを使用して、異常な領域をマスクでマークして画像を分割します。

注釈ツールを使用して画像のセグメンテーションラベルを修正するには
  1. データセットギャラリーの画像の下にある異常領域を選択して、アノテーションツールを開きます。

  2. マスクの異常ラベルが正しくない場合は、マスクを選択し、次に [異常ラベル] で正しい異常ラベルを選択します。必要に応じて、[異常ラベルを追加] を選択して新しい異常ラベルを追加します。

  3. マスクが正しくない場合は、ページの下部にある描画ツールを選択し、異常領域をしっかりと覆うマスクをアノマリーラベルに描画します。次の図は、異常をしっかりと覆うマスクの例です。

    以下は、異常をしっかりカバーしていない貧弱なマスクの例です。

  4. 修正する画像が他にもある場合は、[次へ] を選択し、手順 2 と 3 を繰り返します。

  5. [送信して閉じる] を選択して画像の更新を完了します。