トライアル検出タスクでモデルを検証する
モデルの品質を検証または改善したい場合は、トライアル検出タスクを実行できます。トライアル検出タスクは、提供された新しい画像の異常を検出します。
検出結果を確認し、検証した画像をデータセットに追加できます。個別のトレーニングデータセットとテストデータセットがある場合、検証済みの画像がトレーニングデータセットに追加されます。
ローカルコンピュータからの画像、または Amazon S3 バケットにある画像を検証できます。検証済み画像をデータセットに追加する場合、S3 バケットに配置された画像は、データセット内の画像と同じ S3 バケット内に存在する必要があります。
注記
トライアル検出タスクを実行するには、S3 バケットでバージョニングが有効になっていることを確認します。詳細については、「バージョニングの使用」を参照してください。コンソールバケットは、バージョニングが有効になっている状態で作成されます。
デフォルトでは、画像は AWS が所有および管理するキーで暗号化されます。また、独自の AWS Key Management Service (KMS) キーを使用することもできます。詳細については、「AWS Key Management Service の概念」を参照してください。
トライアル検出タスクの実行
トライアル検出タスクを実行するには、次の手順を実行します。
トライアル検出を実行するには (コンソール)
https://console.aws.amazon.com/lookoutvision/
で Amazon Lookout for Vision コンソールを開きます。 [開始する] を選択します。
左側のナビゲーションペインで、[プロジェクト] を選択します。
プロジェクトビューで、トレーニングしたいモデルを含むプロジェクトを選択します。
左側のナビゲーションペインで、プロジェクト名の下にある [トライアル検出] を選択します。
「トライアル検出」ビューで、[トライアル検出を実行] を選択します。
「トライアル検出を実行」ページで、[タスク名] にトライアル検出タスクの名前を入力します。
[モデルを選択] で、使用するそのモデルのバージョンを選択します。
次のように、画像のソースに従って画像をインポートします。
Amazon S3 バケットからソース画像をインポートする場合は、「S3 URI」を入力します。
ヒント
スタートガイドのサンプル画像を使用している場合は、extra_images フォルダーを使用します。Amazon S3 URI は
s3://です。your bucket/circuitboard/extra_imagesコンピュータから画像をアップロードする場合は、[異常を検出] を選択した後に画像を追加してください。
(オプション) 独自の AWS KMS 暗号化キーを使用する場合は、次の手順を実行します。
[画像データ暗号化] では、[暗号化設定をカスタマイズ (詳細)] を選択します。
encryption.aws_kms_key で、キーの Amazon リソースネーム (ARN) を入力するか、既存の AWS KMS キーを選択します。新しいキーを作成するには、[AWS IMS キーを作成] を選択します。
[異常を検出 を選択してから、[トライアル検出を実行] を選択して、トライアル検出タスクを開始します。
トライアル検出 ビューで現在のステータスを確認します。トライアル検出が完了するまでに時間がかかる場合があります。
トライアル検出結果の確認
トライアル検出の結果を検証すると、モデルの改善に役立ちます。
パフォーマンスメトリクスが悪い場合は、トライアル検出を実行してモデルを改善し、検証済みの画像をデータセット (別のデータセットがある場合は、トレーニングデータセット) に追加します。
モデルのパフォーマンスメトリクスは良好で、トライアル検出の結果が悪い場合は、検証済み画像をデータセット (トレーニングデータセット) に追加してモデルを改善できます。別のテストデータセットがある場合は、テストデータセットに画像を追加することを検討してください。
検証済み画像をデータセットに追加したら、モデルを再トレーニングして再評価します。詳細については、「モデルのトレーニング」を参照してください。
トライアル検出の結果を検証するには
https://console.aws.amazon.com/lookoutvision/
で Amazon Lookout for Vision コンソールを開きます。 左側のナビゲーションペインで、[プロジェクト] を選択します。
「プロジェクト」ページで、削除するプロジェクトを選択します。プロジェクトのダッシュボードが表示されます。
左側のナビゲーションペインで、[トライアル検出] を選択します。
検証したいトライアル検出を選択します。
「トライアル検出」ページで、[マシン予測を確認] を選択します。
[このページのすべての画像を選択] をクリックします。
予測が正しい場合は、[正しいことを確認] を選択します。それ以外の場合は、[正しくないことを確認] を選択します。予測と予測の信頼スコアは、各画像の下に表示されます。
画像のラベルを変更する必要がある場合は、以下を実行します。
画像の下の [正しい] または [正しくない] を選びます。
画像の正しいラベルを特定できない場合は、ギャラリーで画像を選択して画像を拡大してください。
注記
[フィルター] セクションで目的のラベル、またはラベルの状態を選択することで、画像ラベルをフィルターすることができます。[並べ替えオプション] セクションで、信頼度スコアによる並べ替えができます。
-
使用しているモデルがセグメンテーションモデルで、画像のマスクまたは異常ラベルが間違っている場合は、画像の下の [異常領域] を選択し、注釈ツールを開きます。注釈ツールによるセグメンテーションラベルの修正 を実行してセグメンテーション情報を更新します。
すべての画像が検証されるまで、必要に応じて各ページで手順 7～10 を繰り返します。
[検証済み画像をデータセットに追加] を選択します。個別のデータセットがある場合、画像はトレーニングデータセットに追加されます。
モデルをトレーニングする 詳細については、「モデルのトレーニング」を参照してください。
注釈ツールによるセグメンテーションラベルの修正
注釈ツールを使用して、異常な領域をマスクでマークして画像をセグメント化します。
注釈ツールを使用して画像のセグメンテーションラベルを修正するには
データセットギャラリーの画像で [異常領域] を選択して、注釈ツールを開きます。
マスクの異常ラベルが正しくない場合は、マスクを選択し、[異常ラベル] で正しい異常ラベルを選択します。必要に応じて、[異常ラベルを追加] を選択して新しい異常ラベルを追加します。
マスクが正しくない場合は、ページの下部にある描画ツールを選択し、異常領域をしっかりと覆うマスクを描画して異常ラベルを作成します。次の図は、異常をしっかりとカバーするマスクの例です。
以下は、異常をしっかりとカバーしていないマスクの例です。
修正する画像が他にもある場合は、[次へ] を選択し、ステップ 2 と 3 を繰り返します。
[送信して終了] を選択し、画像の更新を完了します。
