시뮬레이션을 통한 AWS DeepRacer 모델 평가 - AWS DeepRacer

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

시뮬레이션을 통한 AWS DeepRacer 모델 평가

훈련 작업이 완료되면 훈련된 모델을 평가하여 수렴 거동을 평가해야 합니다. 평가는 선택한 트랙에서 여러 번 시도를 완료하고 훈련된 모델이 추론할 수 있는 작업에 따라 에이전트가 트랙에서 이동하도록 하여 진행됩니다. 성능 지표에는 트랙 완주율과 각 트랙에서 완주 또는 트랙 이탈까지 주행 시간이 포함됩니다.

AWS DeepRacer 콘솔을 사용하여 학습된 모델을 평가할 수 있습니다. 이렇게 하려면 이 항목의 단계를 따르십시오.

AWS DeepRacer 콘솔에서 학습된 모델을 평가하려면
  1. https://console.aws.amazon.com/deepracer 에서 AWS DeepRacer 콘솔을 엽니다.

  2. 기본 탐색 창에서 모델을 선택한 다음 모델 목록에서 방금 훈련한 모델을 선택하여 모델 세부 정보 페이지를 엽니다.

  3. 평가 탭을 선택합니다.

  4. 평가 세부 정보에서 평가 시작을 선택합니다.

    훈련 작업 상태가 완료됨으로 변경되거나, 훈련 작업이 완료되지 않은 경우 모델의 상태가 준비로 변경되면 평가를 시작할 수 있습니다.

    모델은 훈련 작업이 완료되었을 때 준비 상태가 됩니다. 훈련이 완료되지 않은 경우 모델이 실패 지점까지 훈련된 경우 준비 상태일 수도 있습니다.

  5. 모델 평가 페이지의 레이스 유형에서 평가 이름을 입력한 다음 모델을 트레이닝하기 위해 선택한 레이싱 유형을 선택합니다.

    평가를 위해 훈련에 사용한 레이스 유형과 다른 레이스 유형을 선택할 수 있습니다. 예를 들어 head-to-bot 경주용 모델을 훈련시킨 다음 타임 트라이얼을 위해 모델을 평가할 수 있습니다. 일반적으로 훈련 레이스 유형이 평가 레이스 유형과 다른 경우 모델이 잘 일반화해야 합니다. 첫 실행의 경우 평가와 훈련 모두에 동일한 레이스 유형을 사용해야 합니다.

  6. 모델 평가 페이지의 평가 기준에서 실행하려는 시도 횟수를 선택한 다음 모델을 평가할 트랙을 선택합니다.

    
                    이미지: AWS 평가 트랙을 DeepRacer  선택합니다.

    일반적으로 모델 훈련에 사용한 것과 동일하거나 비슷한 트랙을 선택합니다. 모델 평가를 위해 아무 트랙이나 선택할 수 있지만 훈련에 사용한 것과 가장 비슷한 트랙을 선택해야만 최적의 성능을 기대할 수 있습니다.

    모형이 잘 일반화되는지 확인하려면 훈련에 사용된 것과 다른 평가 트랙을 선택합니다.

  7. Evaluate model(모델 평가) 페이지의 Virtual Race Submission(가상 레이스 제출)에서 첫 번째 모델에 대해 Submit model after evaluation(평가 후 모델 제출) 옵션을 끕니다. 나중에 레이싱 이벤트에 참가하려면 이 옵션을 활성화한 상태로 둡니다.

  8. Evaluate model(모델 평가) 페이지에서 Start evaluation(평가 시작)을 선택하여 평가 작업 생성 및 초기화를 시작합니다.

    초기화 프로세스는 완료할 때까지 약 3분 걸립니다.

  9. 평가가 진행됨에 따라 평가 시간 및 트랙 완료율을 포함한 평가 결과가 각 시도 후에 평가 세부 정보 아래에 표시됩니다. Simulation video stream(시뮬레이션 비디오 스트림) 창에서 에이전트가 선택한 트랙에서 어떤 성능을 보이는지 확인할 수 있습니다.

    평가 작업이 완료되기 전에 중지할 수 있습니다. 평가 작업을 중지하려면 평가 카드의 오른쪽 상단에 있는 평가 중지를 선택한 다음 확인을 클릭하여 평가를 중지합니다.

  10. 평가 작업이 완료된 후 Evaluation results(평가 결과)에서 모든 시도의 성능 지표를 검사합니다. 함께 제공되는 시뮬레이션 비디오 스트림은 더 이상 사용할 수 없습니다.

    평가 선택기에서 모델 평가 기록을 확인할 수 있습니다. 특정 평가의 세부 정보를 보려면 평가 선택기 목록에서 평가를 선택한 다음 평가 선택기 카드의 오른쪽 상단에서 평가 불러오기를 선택합니다.

    
                    이미지: AWS DeepRacer  평가 성능이 완료되었습니다.

    이 특정 평가 작업의 경우 학습된 모델은 상당한 시간 외 페널티를 받으면서 시험을 완료합니다. 첫 번째 실행으로는 드문 일이 아닙니다. 가능한 이유는 훈련이 수렴하지 않았고 훈련에 더 많은 시간이 필요하거나, 에이전트가 반응할 수 있는 여지를 늘려야 하거나, 다양한 환경을 처리하도록 보상 함수를 업데이트해야 하는 것이 포함됩니다.

    이전에 훈련한 모델을 복제하고, 보상 함수를 수정하고, 하이퍼파라미터를 조정한 다음 전체 보상이 수렴되어 성능 지표가 개선될 때까지 프로세스를 반복하면 모델을 개선할 수 있습니다. 훈련 개선 방법에 대한 자세한 내용은 AWS DeepRacer 모델 교육 및 평가 단원을 참조하십시오.

완전히 학습된 모델을 물리적 환경에서 운전할 수 있도록 AWS DeepRacer 차량으로 전송하려면 모델 아티팩트를 다운로드해야 합니다. 다운로드하려면 모델의 세부 정보 페이지에서 Download model(모델 다운로드)를 선택합니다. AWS DeepRacer 물리적 차량이 새 센서를 지원하지 않고 모델이 새 센서 유형으로 학습된 경우 실제 환경에서 AWS DeepRacer 차량에서 모델을 사용할 때 오류 메시지가 표시됩니다. 물리적 에이전트를 사용한 AWS DeepRacer 모델 테스트에 대한 자세한 내용은 을 참조하십시오AWS DeepRacer 차량 운영 .

AWS DeepRacer League 레이싱 이벤트 또는 AWS DeepRacer 커뮤니티 레이스에서 지정한 트랙과 동일하거나 유사한 트랙에서 모델을 트레이닝한 경우 AWS DeepRacer 콘솔에서 가상 레이스에 모델을 제출할 수 있습니다. 이를 위해서는 기본 탐색 창에서 공식 DeepRacer 가상 서킷 또는 커뮤니티 레이스를 팔로우하세요. 자세한 내용은 AWS DeepRacer 레이스에 참가하세요을 참조하세요.

장애물 회피 또는 head-to-bot 경주를 위한 모델을 학습하려면 에이전트와 실제 차량에 새 센서를 추가해야 할 수 있습니다. 자세한 내용은 AWS에서 지원하는 레이싱 유형 및 활성화 센서 이해 DeepRacer 단원을 참조하세요.