Flux de travail de DeepRacer la solution AWS

La formation d'un DeepRacer modèle AWS implique les tâches générales suivantes :

1. Le DeepRacer service AWS initialise la simulation avec une piste virtuelle, un agent représentant le véhicule et l'arrière-plan. L'agent incarne un réseau neuronal de politique qui peut être configuré avec des hyperparamètres, comme défini dans l'algorithme PPO.

2. L'agent agit (comme spécifié par un angle de direction et une vitesse) en fonction d'un état donné (représenté par une image prise par la caméra avant).

3. L'environnement simulé met à jour la position de l'agent en fonction de l'action de l'agent et renvoie une récompense et une image mise à jour de la caméra. Les expériences collectées sous la forme d'état, d'action, de récompense et de nouvel état sont utilisées pour mettre à jour périodiquement le réseau neuronal. Les modèles de réseau mis à jour sont utilisés pour créer de nouvelles expériences.

4. Vous pouvez surveiller la formation en cours sur la piste simulée avec le même point de vue que l'agent. Vous pouvez afficher des métriques telles que les récompenses par épisode, la valeur de la fonction de perte, l'entropie de la politique. L'utilisation de l'UC ou de la mémoire peut également être affichée sous forme de progression de la formation. En outre, des journaux détaillés sont enregistrés à des fins d'analyse et de débogage.

5. Le DeepRacer service AWS enregistre régulièrement le modèle de réseau neuronal dans un stockage persistant.

6. La formation s'arrête à la fin du temps imparti.

7. Vous pouvez évaluer le modèle formé dans un simulateur. Pour ce faire, soumettez le modèle entraîné à des contre-la-montre pour un certain nombre de courses sur la piste sélectionnée.

Une fois le modèle entraîné et évalué avec succès, il peut être chargé sur un agent physique (un DeepRacer véhicule AWS). Le processus englobe les étapes suivantes :

1. Téléchargez le modèle entraîné depuis son stockage persistant (un compartiment Amazon S3).

2. Utilisez la console de commande de l'appareil du véhicule pour télécharger le modèle entraîné sur l'appareil. Utilisez la console pour calibrer le véhicule afin de mapper l'espace d'action simulé à l'espace d'action physique. Vous pouvez également utiliser la console pour vérifier la parité de limitation, afficher le flux de la caméra avant, charger un modèle dans le moteur d'inférence et regarder les déplacements du véhicule sur une piste réelle.

   La console de commande de l'appareil du véhicule est un serveur web hébergé sur le module de calcul du véhicule. La console est accessible à partir de l'adresse IP du véhicule avec un réseau Wi-Fi connecté et un navigateur web sur un ordinateur ou un appareil mobile.

3. Testez la conduite du véhicule dans différentes conditions d'éclairage, de niveau de batterie et de texture et couleur de surface.

   Les performances de l'appareil dans un environnement physique peuvent ne pas correspondre aux performances dans un environnement simulé en raison des limites du modèle ou d'une formation insuffisante. Le phénomène est appelé écart de performance sim2real (entre la simulation et les conditions réelles). Pour réduire l'écart, reportez-vous à la section Écarts imulated-to-real de performance S.