Formazione di un modello di apprendimento per rinforzo in Student AWS DeepRacer

Questa procedura dettagliata mostra come addestrare il tuo primo modello in Student. AWS DeepRacer Fornisce inoltre alcuni suggerimenti utili per aiutarti a sfruttare al meglio la tua esperienza e accelerare il tuo apprendimento.

Fase 1: Addestra un modello di apprendimento per rinforzo utilizzando Student AWS DeepRacer

Inizia il tuo percorso in AWS DeepRacer Student scoprendo dove trovare il pulsante Crea modello e inizia ad addestrare il tuo primo modello. Tieni presente che la creazione e l'addestramento di un modello sono un processo iterativo. Sperimenta diversi algoritmi e funzioni di ricompensa per ottenere i migliori risultati.

Per addestrare un modello di apprendimento per rinforzo

1. Nella home page AWS DeepRacer dello studente, scegli Crea un modello. In alternativa, accedi a I tuoi modelli nel riquadro di navigazione a sinistra. Nella pagina Modelli, in I tuoi modelli, scegli Crea modello.

2. Nella pagina Panoramica, leggi come addestrare un modello di rinforzo. Ogni fase del processo è spiegata in questa pagina. Quando hai finito di leggere, scegli Avanti.

Fase 2: Assegna un nome al modello

Dai un nome al tuo modello. È buona norma assegnare ai modelli nomi univoci per individuare rapidamente i singoli modelli quando si desidera migliorarli e clonarli. Ad esempio, potresti voler denominare i tuoi modelli utilizzando una convenzione di denominazione come:. yourinitials-date-version

Per assegnare un nome al modello

1. Nella pagina Assegna un nome al modello, inserisci un nome nel campo Nome modello.

   Nota

   Quando iniziate ad addestrare un modello, il nome del modello diventa fisso e non è più modificabile.

2. Seleziona Avanti.

Fase 3: Scegli il percorso

Scegli la tua traccia di simulazione. La pista funge da ambiente e fornisce dati alla tua auto. Se scegli una pista molto complessa, la tua auto richiede un tempo totale di allenamento più lungo e la funzione di ricompensa che utilizzi è più complessa.

Per scegliere il percorso (ambiente)

1. Nella pagina Scegli la pista, scegli una pista che funga da ambiente di allenamento per la tua auto.

2. Seleziona Avanti.

Passaggio 4: Scegli un algoritmo

The AWS DeepRacer Student ha due algoritmi di allenamento tra cui scegliere. Algoritmi diversi massimizzano le ricompense in modi diversi. Per sfruttare al meglio la tua esperienza da AWS DeepRacer studente, sperimenta entrambi gli algoritmi. Per ulteriori informazioni sugli algoritmi, consulta Algoritmi di AWS DeepRacer addestramento.

Per scegliere un algoritmo di addestramento

1. Nella pagina Scegli il tipo di algoritmo, selezionare un tipo di algoritmo. Sono disponibili due tipi di algoritmo:

   • Ottimizzazione delle politiche prossimali (PPO). Questo algoritmo stabile ma affamato di dati funziona in modo coerente tra le iterazioni di allenamento.

   • Soft Actor Critic (SAC). Questo algoritmo instabile ma efficiente in termini di dati può funzionare in modo incoerente tra le iterazioni di allenamento.

2. Seleziona Avanti.

Fase 5: Personalizza la tua funzione di ricompensa

La funzione di ricompensa è al centro dell'apprendimento per rinforzo. Usala per incentivare la tua auto (agente) a intraprendere azioni specifiche mentre esplora la pista (ambiente). Proprio come incoraggeresti e scoraggeresti determinati comportamenti in un animale domestico, puoi usare questo strumento per incoraggiare la tua auto a finire un giro il più velocemente possibile e scoraggiarla dall'uscire di pista a zigzag.

Quando addestrate il vostro primo modello, potreste voler utilizzare una funzione predefinita di campionamento. Quando sei pronto per sperimentare e ottimizzare il tuo modello, puoi personalizzare la funzione di ricompensa modificando il codice nell'editor di codice. Per ulteriori informazioni sulla personalizzazione della funzione di ricompensa, consultaPersonalizzazione di una funzione di ricompensa.

Per personalizzare la funzione di ricompensa

1. Nella pagina Personalizza la funzione di ricompensa, scegli una funzione di ricompensa di esempio. Sono disponibili 3 esempi di funzioni di ricompensa che puoi personalizzare:

   • Segui la linea centrale. Premia la tua auto quando si avvicina il più possibile alla linea centrale della pista in modo autonomo.

   • Rimani entro i confini. Premia la tua auto quando guida in modo autonomo con tutte e quattro le ruote che rimangono entro i confini della pista.

   • Evita lo zig-zag. Premia la tua auto per la vicinanza alla linea centrale. Penalizza l'auto se utilizza angoli di sterzata elevati o se esce di pista.

   Nota

   Se non desideri personalizzare la funzione di ricompensa, scegli Avanti.

2. (Facoltativo) Modifica il codice della funzione di ricompensa.

   • Seleziona una funzione di ricompensa di esempio e scegli Walk me through this code.

   • Per ogni sezione del codice, puoi visualizzare ulteriori informazioni selezionando il + per visualizzare una casella di testo pop-up con testo esplicativo. Procedi nella procedura dettagliata del codice selezionando Avanti in ogni pop-up. Per uscire da una casella di testo pop-up, scegli la X nell'angolo. Per uscire dalla procedura dettagliata, scegli Fine.

     Nota

     Puoi scegliere di non modificare il codice della funzione di ricompensa di esempio selezionando Vai con codice predefinito.

   • Facoltativamente, modifica il codice della funzione di ricompensa di esempio selezionando una funzione di ricompensa di esempio e scegliendo Modifica codice di esempio. Modifica il codice e seleziona Convalida per controllare il codice. Se il codice non può essere convalidato o desideri ripristinare il codice allo stato originale, scegli Reimposta.

3. Seleziona Avanti.

Passaggio 6: scegli la durata e invia il modello alla classifica

La durata dell'allenamento del modello influisce sulle sue prestazioni. Quando si sperimenta nella fase iniziale dell'allenamento, è necessario iniziare con un valore basso per questo parametro e poi allenarsi progressivamente per periodi di tempo più lunghi.

In questa fase di addestramento del modello, il modello addestrato viene sottoposto a una classifica. Puoi annullare l'iscrizione deselezionando la casella di controllo.

Per scegliere la durata e inviare un modello alla classifica

1. Nella pagina Scegli la durata, seleziona un periodo in Scegli la durata della formazione del modello.

2. Nel campo Descrizione del modello, inserisci una descrizione utile per il tuo modello che ti aiuterà a ricordare le selezioni effettuate.

   Suggerimento

   È buona norma aggiungere informazioni sul modello, ad esempio le selezioni e le modifiche correnti per la funzione e l'algoritmo di ricompensa, nonché ipotesi sulle prestazioni del modello.

3. Seleziona la casella di controllo per inviare automaticamente il modello alla classifica AWS DeepRacer degli studenti al termine della formazione. Facoltativamente, puoi scegliere di non inserire il tuo modello deselezionando la casella di controllo.

   Suggerimento

   Ti consigliamo di inserire il tuo modello nella classifica. L'invio del modello ti aiuta a vedere come il tuo modello si confronta con gli altri e ti fornisce un feedback in modo da poterlo migliorare.

4. Scegli Addestra il tuo modello.

5. Nel pop-up Initializing model training, scegli Ok.

6. Nella pagina di configurazione dell'addestramento, puoi esaminare lo stato e la configurazione dell'addestramento del tuo modello. È inoltre possibile visualizzare un video dell'allenamento del modello sul percorso selezionato quando lo stato dell'allenamento è In corso. Guardare il video può aiutarvi a sviluppare informazioni preziose che potete utilizzare per migliorare il vostro modello.

Fase 7: Visualizza le prestazioni del modello nella classifica

Dopo aver addestrato il modello e averlo inserito in una classifica, puoi visualizzarne le prestazioni.

Per visualizzare le prestazioni del modello

1. Nel riquadro di navigazione a sinistra, accedi a Compete ed espandi. Scegli una stagione. Nella pagina Leaderboard, il tuo modello e il tuo rango vengono visualizzati in una sezione. La pagina include anche una sezione Leaderboard con un elenco dei modelli inviati, i dettagli della gara e una sezione con i dettagli della gara.

2. Nella pagina che mostra la classifica, nella sezione con il tuo profilo, seleziona Guarda video per vedere un video delle prestazioni del tuo modello.

Passaggio 8: Usa Clone per migliorare il tuo modello

Dopo aver addestrato e, facoltativamente, inviato il modello a una classifica, puoi clonarlo per migliorarlo. La clonazione del modello consente di risparmiare passaggi e rende la formazione più efficiente utilizzando un modello precedentemente addestrato come punto di partenza per un nuovo modello.

Per clonare e migliorare un modello

1. In AWS DeepRacer Student, nel riquadro di navigazione a sinistra, accedi a I tuoi modelli.

2. Nella pagina I tuoi modelli, seleziona un modello e scegli Clona.

3. Nel campo Assegna un nome al modello, fornisci un nuovo nome per il modello clonato e scegli Avanti.

4. Nella pagina Personalizza una funzione di ricompensa, personalizza la funzione di ricompensa e scegli Avanti. Per ulteriori informazioni sulla personalizzazione della funzione di ricompensa, consultaFase 5: Personalizza la tua funzione di ricompensa.

5. Nella pagina Scegli la durata, inserisci un orario nel campo Scegli la durata dell'addestramento del modello, inserisci una descrizione nel campo Descrizione del modello e seleziona la casella di controllo per inviare il modello clonato alla classifica.

6. Scegli Addestra il tuo modello. La tua formazione è inizializzata. Viene visualizzata la pagina di configurazione dell'addestramento con informazioni sul modello clonato. È inoltre possibile visualizzare un video dell'addestramento del modello sulla traccia selezionata quando lo stato dell'allenamento è In corso.

7. Continua a clonare e modificare i tuoi modelli pre-addestrati per ottenere le migliori prestazioni in classifica.

Fase 9: (Facoltativo) Scaricate un modello

Dopo aver addestrato un modello e averlo facoltativamente inviato alla classifica, potresti volerlo scaricare per utilizzi futuri su un dispositivo fisico. AWS DeepRacer Il modello viene salvato come file. .tar.gz

Per scaricare un modello

1. In AWS DeepRacer Student, nel riquadro di navigazione a sinistra, accedi a I tuoi modelli.

2. Nella pagina I tuoi modelli, seleziona un modello e scegli Scarica.

3. Tieni traccia dello stato di avanzamento del download del modello nel tuo browser. Una volta scaricato il modello, puoi salvarlo sul tuo disco rigido locale o su un altro dispositivo di archiviazione preferito.

   Per ulteriori informazioni sull'utilizzo AWS DeepRacer dei dispositivi, consulta Utilizzare il AWS DeepRacer veicolo nella AWS DeepRacer guida.