シミュレーションでの AWS DeepRacer モデルの評価

トレーニングジョブの完了後、トレーニング済みモデルを評価して収束動作を評価する必要があります。評価は、選択したトラックで何回かのトライアルを完了し、トレーニング済みモデルによって推定される可能性のあるアクションに従ってエージェントをトラック上で移動させることによって行われます。パフォーマンスメトリクスには、トラックの完了率と、各トラックの開始から終了またはオフトラックになるまでの時間が含まれます。

トレーニング済みモデルを評価するには、AWS DeepRacer コンソールを使用します。そのためには、このトピックのステップを実行します。

AWS DeepRacer コンソールでトレーニング済みモデルを評価する方法

1. https://console.aws.amazon.com/deepracer で AWS DeepRacer コンソールを開きます。

2. メインナビゲーションペインで [モデル] を選択し、トレーニングしたモデルを [モデル] リストから選択して、モデルの詳細ページを開きます。

3. [評価] タブを選択します。

4. [評価] で [評価の開始] を選択します。

   

   トレーニングジョブのステータスが [完了] に変わった後、またはトレーニングジョブが完了していない場合は、モデルのステータスが [準備完了] に変わった後で評価を開始できます。

   モデルは、トレーニングジョブが完了したときに準備完了状態になります。トレーニングが完了しなかった場合でも、失敗した時点までトレーニングされていれば、モデルは [準備完了] 状態になることができます。

5. [モデルの評価] ページの [レースタイプ] で、モデルをトレーニングするために選択したレースタイプを選択します。

   評価のために、トレーニングで使用したレースタイプとは異なるレースタイプを選ぶことができます。たとえば、head-to-bot レース向けにモデルをトレーニングして、タイムトライアルで評価することができます。一般に、トレーニングレースタイプが評価レースタイプと異なる場合、モデルは適切に一般化する必要があります。最初の走行では、評価とトレーニングの両方で同じレースタイプを使用する必要があります。

6. [モデルの評価] ページの [評価基準] で、モデルの評価に使用するトライアルの回数を選択します。

   

   一般的には、モデルのトレーニングで使用したものと同じまたは類似のトラックを選択します。モデルを評価するために任意のトラックを選択できますが、トレーニングで使用されるものと最もよく似たトラックで最高のパフォーマンスが期待できます。

   モデルが適切に一般化するかどうかを確認するには、トレーニングで使用したものとは異なる評価トラックを選択します。

7. 最初のモデルの [モデルの評価] ページにある [バーチャルレースの提出] で、[評価後にモデルを提出] オプションをオフにします。後で、レースイベントに参加する場合は、このオプションをオンにしておきます。

   

8. [モデルの評価] ページで、[評価の開始] を選択して、評価ジョブの作成と初期化を開始します。

   この初期化プロセスは完了に 3 分かかります。

9. 評価が進むにつれて、トライアルの時間やトラック完了率などの評価結果が、各トライアルの後に [評価の詳細] に表示されます。[シミュレーションビデオストリーム] ウィンドウでは、選択したトラックでのエージェントのパフォーマンスを観察できます。

   評価ジョブは、完了する前に停止できます。評価ジョブを停止するには、[評価] カードの右上隅にある [評価を停止] を選択し、評価の停止を確定します。

10. 評価ジョブが完了したら、[評価結果] の下にあるすべてのトライアルについて、パフォーマンスメトリクスを調べます。付属のシミュレーションビデオストリームは使用できなくなりました。

    「評価セレクター」には、モデルの評価履歴が表示されます。特定の評価の詳細を表示するには、[評価セレクター] リストから評価を選択し、[評価セレクター] カードの右上隅にある [負荷の評価] を選択します。

    

    この特定の評価ジョブでは、トレーニングを受けたモデルがトライアルを完了すると、大幅な場外時間ペナルティが発生します。最初の走行としては、これは珍しいことではありません。考えられる理由としては、トレーニングが収束せず、トレーニングにさらに時間が必要である、エージェントに反応する余地を与えるためにアクションスペースを拡大する必要がある、またはさまざまな環境を処理するために報酬関数を更新する必要がある、などが挙げられます。

    トレーニング済みのモデルのクローンを作成し、報酬関数を変更し、ハイパーパラメータを調整してから、総報酬が収束してパフォーマンス指標が向上するまでプロセスを繰り返すことで、モデルを継続的に改善できます。トレーニングを向上する方法の詳細については、「AWS DeepRacer モデルのトレーニングと評価」を参照してください。

完全にトレーニングされたモデルを AWS DeepRacer デバイスに転送して、実環境で走行させるには、モデルのアーティファクトをダウンロードする必要があります。これを行うには、モデルの詳細ページで [モデルのダウンロード] を選択します。AWS DeepRacer の物理デバイスが新しいセンサーをサポートしておらず、モデルが新しいセンサータイプでトレーニングされている場合、実環境で AWS DeepRacer デバイスにモデルを使用すると、エラーメッセージが表示されます。物理デバイスを使用した AWS DeepRacer モデルのテストに関する詳細については、「AWS DeepRacer 車両を運転する 」を参照してください。

AWS DeepRacer League レーシングイベントや AWS DeepRacer のコミュニティレースで指定されたトラックと同一または類似のトラックでモデルをトレーニングしたら、AWS DeepRacer コンソールで仮想レースにモデルを送信することが可能になります。これを行うには、メインナビゲーションペインで [AWS公式 DeepRacer 仮想サーキット] または [コミュニティレース] に従ってください。詳細については、「AWS DeepRacer レースに参加する」を参照してください。

障害物回避や head-to-bot レースのモデルをトレーニングするには、モデルと物理デバイスに新しいセンサーを追加する必要がある場合があります。詳細については、「AWS DeepRacer によるレースの種類の理解とセンサーの有効化」を参照してください。