시뮬레이션 환경과 실제 환경의 성능 차이 - AWS DeepRacer

시뮬레이션 환경과 실제 환경의 성능 차이

시뮬레이션에서는 실제 환경의 모든 요소를 정확하게 수집하지 못하기 때문에 시뮬레이션에서 훈련된 모델이 실제 환경에서 성능을 발휘하지 못할 수도 있습니다. 이러한 불일치를 종종 시뮬레이션 환경과 실제 환경의(sim2real) 성능 차이라고 부릅니다.

지금까지 디바이스에서 sim2real 성능 차이를 최소화하기 위한 노력이 많았습니다. 예를 들어 시뮬레이션 에이전트는 초당 약 10회 행동하도록 프로그래밍됩니다. 이는 AWS DeepRacer 디바이스의 추론 실행 횟수인 초당 약 10회의 추론과 일치합니다. 그 밖에도 훈련에서 각 에피소드를 시작할 때 에이전트의 위치는 무작위로 결정됩니다. 그러면 에이전트가 트랙 전체에서 균일하게 학습할 가능성이 극대화되기 때문입니다.

real2sim 성능 차이를 줄이려면 시뮬레이션 트랙과 실제 트랙에서 동일하거나 비슷한 색상, 형상 및 크기를 사용해야 합니다. 시각적 분산을 줄이고 싶다면 실제 트랙 주변에 장벽을 설치하십시오. 또한 훈련에서 사용되는 행동 공간이 실제 환경과 일치할 수 있도록 디바이스의 속도와 조향 각도 범위를 주의하여 보정하십시오. 훈련에서 사용하는 것과 다른 시뮬레이션 트랙에서 모델 성능을 평가하면 real2real 성능 차이가 크게 나타날 수 있습니다.

AWS DeepRacer 모델을 학습할 때 sim2real 격차를 줄이는 방법에 대한 자세한 내용은 실제 환경에 대한 AWS DeepRacer 모델 훈련 최적화을 참조하십시오.