Flujo de trabajo de solución de AWS DeepRacer - AWS DeepRacer

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Flujo de trabajo de solución de AWS DeepRacer

Entrenar un modelo de AWS DeepRacer implica las siguientes tareas generales:

  1. El servicio de AWS DeepRacer inicializa la simulación con una pista virtual, un agente que representa el vehículo y el entorno. El agente contiene una red neuronal de la política que se puede ajustar con hiperparámetros, tal como se define en el algoritmo PPO.

  2. El agente actúa (con un ángulo de giro y una velocidad específicos) en base a un determinado estado (representado por una imagen de la cámara frontal).

  3. El entorno simulado actualiza la posición del agente en función de la acción del agente y devuelve una recompensa y una imagen de cámara actualizada. Las experiencias recopiladas en forma de estado, acción, recompensa y nuevo estado se utilizan para actualizar la red neuronal de forma periódica. Los modelos de red actualizados se utilizan para crear más experiencias.

  4. Puede monitorizar el entrenamiento en curso a lo largo de la pista simulada con una vista en primera persona tal y como la ve el agente. Puede visualizar métricas tales como recompensas por episodio, el valor de la función de pérdida y la entropía de la política. El uso de la CPU o de la memoria también se puede mostrar como progresos del entrenamiento. Además, los registros detallados se registran para su análisis y depuración.

  5. El servicio de AWS DeepRacer guarda periódicamente el modelo de red neuronal en un almacenamiento persistente.

  6. El entrenamiento se detiene en base a un límite de tiempo.

  7. Puede evaluar el modelo entrenado en un simulador. Para ello, somete el modelo entrenado a pruebas de tiempo para un número seleccionado de carreras en la pista seleccionada.

Una vez entrenado y evaluado correctamente, se puede cargar el modelo en un agente físico (un vehículo de AWS DeepRacer). El proceso consta de los pasos siguientes:

  1. Descargue el modelo entrenado de su almacenamiento persistente (un bucket de Amazon S3).

  2. Utilice la consola de control del dispositivo del vehículo para cargar el modelo entrenado en el dispositivo. Utilice la consola para calibrar el vehículo para el mapeo del espacio de acción simulado al espacio de acción físico. También puede utilizar la consola para comprobar la paridad de limitación, ver las imágenes de la cámara frontal, cargar un modelo en el motor de inferencia y ver la conducción del vehículo en una pista real.

    La consola de control del dispositivo del vehículo es un servidor web alojado en el módulo de cómputo del vehículo. Se puede acceder a la consola desde la dirección IP del vehículo con una red wifi conectada y un navegador web en un equipo o en un dispositivo móvil.

  3. Experimente con la conducción del vehículo con diferentes niveles de iluminación y de batería, y sobre superficies con distintas texturas y colores.

    Es posible que el rendimiento del dispositivo en un entorno físico no coincida con el rendimiento en un entorno simulado debido a las limitaciones del modelo o a un entrenamiento insuficiente. Este fenómeno se denomina laguna de desempeño sim2real. Para reducir la laguna, consulte Lagunas entre el rendimiento real y el simulado.