AWS DeepRacer 서비스 아키텍처

AWS DeepRacer 서비스는 AWS와 Amazon RoboMaker S3와 같은 기타 AWS 서비스를 기반으로 SageMaker구축됩니다.

SageMaker 는 일반적인 기계 학습 모델을 교육하기 위한 AWS 기계 학습 플랫폼입니다. DeepRacer AWS는 특히 강화 학습 모델을 훈련하는 데 사용합니다. RoboMaker AWS는 일반적으로 로봇 솔루션을 개발, 테스트 및 배포하기 위한 클라우드 서비스입니다. DeepRacer AWS는 이를 사용하여 가상 에이전트와 대화형 환경을 생성합니다. Amazon S3는 경제적인 범용 클라우드 스토리지 솔루션입니다. DeepRacer AWS는 이를 사용하여 학습된 모델 아티팩트를 저장합니다. 또한 AWS는 인메모리 데이터베이스인 Redis를 경험 버퍼로 DeepRacer 사용하여 정책 신경망 학습에 사용할 학습 데이터를 선택합니다.

AWS는 AWS DeepRacer 아키텍처 내에서 에이전트가 지정된 트랙을 따라 운전할 수 있는 시뮬레이션 환경을 RoboMaker 만듭니다. 그러면 에이전트가 SageMaker에서 일정 시간까지 훈련된 정책망 모델에 따라 이동합니다. 각 주행은 출발선부터 시작하여 결승선 또는 트랙 이탈이 될 수 있는 최종 상태에서 종료되며, 이를 에피소드라고 부릅니다. 각 에피소드마다 트랙은 단계 수가 고정된 여러 구간으로 분할됩니다. 각 세그먼트에서 개별 단계와 관련된 튜플 (상태, 작업, 보상, 새 상태) 의 정렬된 목록으로 정의된 경험은 Redis에 경험 버퍼로 캐시됩니다. SageMaker 그런 다음 경험 버퍼에서 훈련 데이터를 일괄적으로 랜덤하게 가져온 다음 입력 데이터를 신경망에 공급하여 가중치를 업데이트합니다. 그런 다음 업데이트된 모델을 Amazon S3에 SageMaker 저장하여 더 많은 경험을 창출하는 데 사용할 수 있습니다. 이러한 주기는 훈련이 멈출 때까지 계속 됩니다.

첫 번째 모델을 처음으로 훈련할 때는 SageMaker가 먼저 경험 버퍼를 무작위 행동으로 초기화합니다.

다음은 이러한 아키텍처를 나타낸 다이어그램입니다.

위와 같은 설계에서는 단일 트랙의 여러 구간에서 모델을 동시에 훈련하거나, 혹은 여러 트랙에서 모델을 동시에 훈련하는 다중 시뮬레이션이 가능합니다.