Trainieren eines Reinforcement-Learning-Modells in AWS DeepRacer Student

Diese exemplarische Vorgehensweise zeigt, wie Sie Ihr erstes Modell in AWS DeepRacer Student trainieren. Außerdem erhalten Sie einige nützliche Tipps, die Ihnen helfen, das Beste aus Ihrer Erfahrung herauszuholen und Ihr Lernen zu beschleunigen.

Schritt 1: Trainieren Sie ein Reinforcement-Learning-Modell mit Student AWS DeepRacer

Beginnen Sie Ihre Reise in AWS DeepRacer Student, indem Sie lernen, wo Sie die Schaltfläche Modell erstellen finden, und beginnen Sie mit dem Training Ihres ersten Modells. Denken Sie daran, dass das Erstellen und Trainieren eines Modells ein iterativer Prozess ist. Experimentieren Sie mit verschiedenen Algorithmen und Belohnungsfunktionen, um die besten Ergebnisse zu erzielen.

Um ein Reinforcement-Learning-Modell zu trainieren

1. Wählen Sie auf der AWS DeepRacer Studenten-Startseite die Option Modell erstellen aus. Sie können auch im linken Navigationsbereich zu „Ihre Modelle“ navigieren. Wählen Sie auf der Seite Modelle unter Ihre Modelle die Option Modell erstellen aus.

2. Auf der Übersichtsseite erfahren Sie, wie Sie ein Bewehrungsmodell trainieren. Jeder Schritt des Prozesses wird auf dieser Seite erklärt. Wenn Sie mit dem Lesen fertig sind, wählen Sie Weiter.

Schritt 2: Benennen Sie Ihr Modell

Nennen Sie Ihr Modell. Es empfiehlt sich, Ihren Modellen eindeutige Namen zu geben, um einzelne Modelle schnell zu finden, wenn Sie sie verbessern und klonen möchten. Möglicherweise möchten Sie Ihre Modelle beispielsweise anhand einer Namenskonvention benennen, z. B.: yourinitials-date-version.

Um Ihr Modell zu benennen

1. Geben Sie auf der Seite Name Ihres Modells einen Namen in das Feld Modellname ein.

   Anmerkung

   Wenn Sie mit dem Training eines Modells beginnen, ist der Name des Modells fest und kann nicht mehr geändert werden.

2. Wählen Sie Weiter.

Schritt 3: Wähle deinen Track

Wählen Sie Ihre Simulationsstrecke. Die Strecke dient als Umgebung und liefert Daten für Ihr Auto. Wenn Sie sich für eine sehr komplexe Strecke entscheiden, benötigt Ihr Auto insgesamt eine längere Trainingszeit und die von Ihnen verwendete Belohnungsfunktion ist komplexer.

Um deine Strecke (Umgebung) auszuwählen

1. Wähle auf der Seite Strecke auswählen eine Strecke aus, die als Trainingsumgebung für dein Auto dienen soll.

2. Wählen Sie Weiter.

Schritt 4: Wähle einen Algorithmus

Der AWS DeepRacer Student hat zwei Trainingsalgorhythmen zur Auswahl. Verschiedene Algorithmen maximieren die Belohnungen auf unterschiedliche Weise. Experimentieren Sie mit beiden Algorithmen, um das Beste aus Ihrer AWS DeepRacer Studentenerfahrung herauszuholen. Weitere Informationen zu Algorithmen finden Sie unter Algorithmen AWS DeepRacer trainieren.

Um einen Trainingsalgorhythmus auszuwählen

1. Wählen Sie auf der Seite Algorithmustyp auswählen einen Algorithmustyp aus. Zwei Algorithmustypen sind verfügbar:

   • Proximale Richtlinienoptimierung (PPO). Dieser stabile, aber datenhungrige Algorithmus arbeitet konsistent zwischen den Trainingsiterationen.

   • Soft Actor Critic (SAC). Dieser instabile, aber dateneffiziente Algorithmus kann zwischen den Trainingsiterationen inkonsistent arbeiten.

2. Wählen Sie Weiter.

Schritt 5: Passen Sie Ihre Belohnungsfunktion an

Die Belohnungsfunktion ist das Herzstück von Reinforcement Learning. Verwenden Sie sie, um Ihrem Auto (Agenten) Anreize zu geben, bestimmte Aktionen zu ergreifen, während es die Strecke (Umgebung) erkundet. So wie Sie bei einem Haustier bestimmte Verhaltensweisen fördern oder verhindern würden, können Sie dieses Tool verwenden, um Ihr Auto zu ermutigen, eine Runde so schnell wie möglich zu beenden, und es davon abzuhalten, von der Strecke abzukommen und im Zickzack zu fahren.

Wenn Sie Ihr erstes Modell trainieren, möchten Sie vielleicht eine standardmäßige Musterbelohnungsfunktion verwenden. Wenn Sie bereit sind, Ihr Modell zu experimentieren und zu optimieren, können Sie die Belohnungsfunktion anpassen, indem Sie den Code im Code-Editor bearbeiten. Weitere Informationen zum Anpassen der Belohnungsfunktion finden Sie unterEine Belohnungsfunktion anpassen.

So passen Sie Ihre Prämienfunktion an

1. Wählen Sie auf der Seite „Prämienfunktion anpassen“ ein Beispiel für eine Prämienfunktion aus. Es stehen 3 Beispiele für Prämienfunktionen zur Verfügung, die Sie anpassen können:

   • Folgen Sie der Mittellinie. Belohnt Ihr Auto, wenn es autonom so nah wie möglich an der Mittellinie der Strecke fährt.

   • Bleib innerhalb der Grenzen. Prämiert Ihr Auto, wenn es autonom fährt und alle vier Räder innerhalb der Streckengrenzen bleiben.

   • Vermeiden Sie Zick-Zack-Bewegungen. Prämiert Ihr Auto dafür, dass es in der Nähe der Mittellinie bleibt. Bestraft Ihr Auto, wenn es hohe Lenkwinkel verwendet oder von der Spur abkommt.

   Anmerkung

   Wenn Sie die Prämienfunktion nicht anpassen möchten, wählen Sie Weiter.

2. (Optional) Ändern Sie den Code der Belohnungsfunktion.

   • Wählen Sie ein Beispiel für eine Prämienfunktion aus und klicken Sie auf Walk me through this code.

   • Für jeden Abschnitt des Codes kannst du weitere Informationen anzeigen, indem du das + auswählst, um ein Popup-Textfeld mit erklärendem Text einzublenden. Gehen Sie in der Code-Komplettlösung weiter vor, indem Sie in jedem Pop-up „Weiter“ auswählen. Um ein Popup-Textfeld zu verlassen, wählen Sie das X in der Ecke. Um die Komplettlösung zu beenden, wählen Sie „Fertig stellen“.

     Anmerkung

     Sie können sich dafür entscheiden, den Beispielcode für die Prämienfunktion nicht zu bearbeiten, indem Sie „Mit Standardcode fortfahren“ auswählen.

   • Optional können Sie den Beispielcode für eine Prämienfunktion bearbeiten, indem Sie eine Beispiel-Prämienfunktion auswählen und Beispielcode bearbeiten wählen. Bearbeiten Sie den Code und wählen Sie Validieren aus, um Ihren Code zu überprüfen. Wenn Ihr Code nicht validiert werden kann oder Sie den Code auf seinen ursprünglichen Zustand zurücksetzen möchten, wählen Sie Zurücksetzen.

3. Wählen Sie Weiter.

Schritt 6: Wähle die Dauer und reiche dein Modell bei der Bestenliste ein

Die Dauer des Trainings Ihres Modells wirkt sich auf dessen Leistung aus. Wenn Sie in der frühen Phase des Trainings experimentieren, sollten Sie mit einem kleinen Wert für diesen Parameter beginnen und dann schrittweise über längere Zeiträume trainieren.

In diesem Schritt des Trainings Ihres Modells wird Ihr trainiertes Modell in eine Bestenliste aufgenommen. Sie können sich abmelden, indem Sie das Kästchen abwählen.

Um die Dauer zu wählen und ein Modell für die Bestenliste einzureichen

1. Wählen Sie auf der Seite Dauer auswählen unter Dauer des Modelltrainings auswählen eine Zeit aus.

2. Geben Sie im Feld Modellbeschreibung eine nützliche Beschreibung für Ihr Modell ein, anhand derer Sie sich an die von Ihnen getroffene Auswahl erinnern können.

   Tipp

   Es empfiehlt sich, Informationen über Ihr Modell hinzuzufügen, z. B. aktuelle Auswahlen und Änderungen für die Belohnungsfunktion und den Algorithmus sowie Ihre Hypothese zur Leistungsfähigkeit des Modells.

3. Markieren Sie das Kästchen, damit Ihr Modell nach Abschluss der Schulung automatisch in die AWS DeepRacer Studierenden-Bestenliste aufgenommen wird. Optional können Sie sich von der Teilnahme an Ihrem Modell abmelden, indem Sie das Kästchen abwählen.

   Tipp

   Wir empfehlen Ihnen, Ihr Modell für die Bestenliste einzureichen. Wenn Sie Ihr Modell einreichen, können Sie sehen, wie Ihr Modell im Vergleich zu anderen abschneidet, und Sie erhalten Feedback, damit Sie Ihr Modell verbessern können.

4. Wählen Sie Trainiere dein Modell.

5. Wählen Sie im Popup-Fenster „Modelltraining initialisieren“ die Option „Okay“ aus.

6. Auf der Seite Trainingskonfiguration können Sie den Trainingsstatus und die Konfiguration Ihres Modells überprüfen. Sie können sich auch ein Video ansehen, in dem Ihr Modell auf der ausgewählten Strecke trainiert, wenn der Trainingsstatus „In Bearbeitung“ lautet. Wenn Sie sich das Video ansehen, können Sie wertvolle Erkenntnisse gewinnen, die Sie zur Verbesserung Ihres Modells nutzen können.

Schritt 7: Sehen Sie sich die Leistung Ihres Modells in der Bestenliste an

Nachdem Sie Ihr Modell trainiert und es in eine Bestenliste aufgenommen haben, können Sie sich seine Leistung ansehen.

Um die Leistung Ihres Modells einzusehen

1. Navigieren Sie im linken Navigationsbereich zu Compete und erweitern Sie es. Wähle eine Jahreszeit. Auf der Bestenlisten-Seite erscheinen dein Modell und dein Rang in einem Abschnitt. Die Seite enthält auch einen Bereich mit der Bestenliste mit einer Liste der eingereichten Modelle, Renndetails und einem Abschnitt mit Renndetails.

2. Wählen Sie auf der Seite, auf der die Bestenliste angezeigt wird, im Bereich mit Ihrem Profil die Option Video ansehen aus, um ein Video über die Leistung Ihres Modells anzusehen.

Schritt 8: Verwenden Sie Clone, um Ihr Modell zu verbessern

Nachdem Sie Ihr Modell trainiert und optional für eine Bestenliste eingereicht haben, können Sie es klonen, um es zu verbessern. Das Klonen Ihres Modells spart Ihnen Schritte und macht das Training effizienter, indem Sie ein zuvor trainiertes Modell als Ausgangspunkt für ein neues Modell verwenden.

Um ein Modell zu klonen und zu verbessern

1. Navigieren Sie in AWS DeepRacer Student im linken Navigationsbereich zu Ihre Modelle.

2. Wählen Sie auf der Seite Ihre Modelle ein Modell aus und klicken Sie auf Clone.

3. Geben Sie im Feld Name Ihres Modells einen neuen Namen für Ihr geklontes Modell ein und wählen Sie Weiter.

4. Passen Sie auf der Seite „Prämienfunktion anpassen“ die Prämienfunktion an und wählen Sie Weiter aus. Weitere Informationen zum Anpassen der Prämienfunktion finden Sie unterSchritt 5: Passen Sie Ihre Belohnungsfunktion an.

5. Geben Sie auf der Seite „Dauer auswählen“ in das Feld „Dauer des Modelltrainings auswählen“ eine Uhrzeit ein, geben Sie eine Beschreibung in das Feld Modellbeschreibung ein und aktivieren Sie das Kontrollkästchen, um das geklonte Modell in die Bestenliste aufzunehmen.

6. Wählen Sie Trainiere dein Modell aus. Ihr Training ist initialisiert. Die Seite mit der Trainingskonfiguration wird mit Informationen zu Ihrem geklonten Modell angezeigt. Sie können sich auch ein Video ansehen, in dem Ihr Modell auf der ausgewählten Strecke trainiert, wenn der Trainingsstatus „In Bearbeitung“ lautet.

7. Fahren Sie mit dem Klonen und Modifizieren Ihrer vortrainierten Modelle fort, um Ihre beste Leistung in der Bestenliste zu erzielen.

Schritt 9: (Optional) Laden Sie ein Modell herunter

Nachdem Sie ein Modell trainiert und es optional in die Bestenliste aufgenommen haben, möchten Sie es möglicherweise herunterladen, um es future auf einem AWS DeepRacer physischen Gerät verwenden zu können. Ihr Modell wird als .tar.gz Datei gespeichert.

Um ein Modell herunterzuladen

1. Navigieren Sie in AWS DeepRacer Student im linken Navigationsbereich zu Ihre Modelle.

2. Wählen Sie auf der Seite Ihre Modelle ein Modell aus und klicken Sie auf Herunterladen.

3. Verfolgen Sie den Fortschritt des Modell-Downloads in Ihrem Browser. Wenn Ihr Modell heruntergeladen wurde, können Sie es auf Ihrer lokalen Festplatte oder einem anderen bevorzugten Speichergerät speichern.

   Weitere Informationen zum Arbeiten mit AWS DeepRacer Geräten finden Sie im AWS DeepRacer Handbuch unter Bedienung Ihres AWS DeepRacer Fahrzeugs.