Migrieren von Tests von einer Standardtestumgebung zu einer benutzerdefinierten Testumgebung

In der folgenden Anleitung wird erklärt, wie Sie von einem standardmäßigen Testausführungsmodus zu einem benutzerdefinierten Ausführungsmodus wechseln. Die Migration umfasst hauptsächlich zwei verschiedene Ausführungsformen:

1. Standardmodus: Dieser Testausführungsmodus ist in erster Linie darauf ausgelegt, Kunden detaillierte Berichte und eine vollständig verwaltete Umgebung zu bieten.

2. Benutzerdefinierter Modus: Dieser Testausführungsmodus wurde für verschiedene Anwendungsfälle entwickelt, die schnellere Testläufe, die Möglichkeit zum Lift-and-Shift-Verfahren und zur Erreichung der Parität mit der lokalen Umgebung sowie Live-Videostreaming erfordern.

Überlegungen bei der Migration

In diesem Abschnitt sind einige der wichtigsten Anwendungsfälle aufgeführt, die bei der Migration zum benutzerdefinierten Modus zu berücksichtigen sind:

1. Geschwindigkeit: Im Standardmodus analysiert Device Farm die Metadaten der Tests, die Sie gepackt und hochgeladen haben, anhand der Paketierungsanweisungen für Ihr spezielles Framework. Beim Parsen wird die Anzahl der Tests in Ihrem Paket erkannt. Danach führt Device Farm jeden Test separat aus und präsentiert die Protokolle, Videos und andere Ergebnisartefakte für jeden Test einzeln. Dies erhöht jedoch kontinuierlich die gesamte end-to-end Testausführungszeit, da die Tests und Ergebnisartefakte auf der Serviceseite vor- und nachbearbeitet werden.

   Im Gegensatz dazu analysiert der benutzerdefinierte Ausführungsmodus Ihr Testpaket nicht. Dies bedeutet, dass keine Vorverarbeitung und nur minimale Nachbearbeitung für Tests oder Ergebnisartefakte erforderlich ist. Dies führt zu einer end-to-end Gesamtausführungszeit, die Ihrer lokalen Konfiguration sehr nahe kommt. Die Tests werden in demselben Format ausgeführt, in dem sie ausgeführt würden, wenn sie auf Ihren lokalen Computern ausgeführt würden. Die Ergebnisse der Tests entsprechen denen, die Sie lokal erhalten, und stehen am Ende der Jobausführung zum Download zur Verfügung.

2. Anpassung oder Flexibilität: Der Standardausführungsmodus analysiert Ihr Testpaket, um die Anzahl der Tests zu ermitteln, und führt dann jeden Test separat aus. Beachten Sie, dass es keine Garantie dafür gibt, dass die Tests in der von Ihnen angegebenen Reihenfolge ausgeführt werden. Daher funktionieren Tests, die eine bestimmte Ausführungsreihenfolge erfordern, möglicherweise nicht wie erwartet. Darüber hinaus gibt es keine Möglichkeit, die Host-Computerumgebung anzupassen oder Konfigurationsdateien zu übergeben, die möglicherweise erforderlich sind, um Ihre Tests auf eine bestimmte Weise auszuführen.

   Im benutzerdefinierten Modus können Sie dagegen die Host-Computerumgebung konfigurieren, einschließlich der Möglichkeit, zusätzliche Software zu installieren, Filter an Ihre Tests zu übergeben, Konfigurationsdateien zu übergeben und die Einrichtung der Testausführung zu steuern. Dies wird über eine Yaml-Datei (auch als Testspec-Datei bezeichnet) erreicht, die Sie ändern können, indem Sie ihr Shell-Befehle hinzufügen. Diese Yaml-Datei wird in ein Shell-Skript konvertiert, das auf dem Test-Host-Computer ausgeführt wird. Sie können mehrere Yaml-Dateien speichern und eine dynamisch gemäß Ihren Anforderungen auswählen, wenn Sie einen Lauf planen.

3. Live-Video und Protokollierung: Sowohl der Standard- als auch der benutzerdefinierte Ausführungsmodus bieten Ihnen Videos und Protokolle für Ihre Tests. Im Standardmodus erhalten Sie das Video und die vordefinierten Protokolle Ihrer Tests jedoch erst, nachdem Ihre Tests abgeschlossen sind.

   Im benutzerdefinierten Modus erhalten Sie dagegen einen Live-Stream mit dem Video und den clientseitigen Protokollen Ihrer Tests. Darüber hinaus können Sie das Video und andere Artefakte am Ende der Tests herunterladen.

4. Veraltet: Die folgenden Testtypen werden bis Ende Dezember 2023 im Standardausführungsmodus als veraltet eingestuft:

   • Appium (alle Sprachen)

   • Calabash

   • XCTest

   • UI-Automatisierung

   • UI Automator

   • Webtests

   • Eingebauter Explorer

   Sobald sie veraltet sind, können Sie diese Frameworks nicht mehr im Standardmodus verwenden. Sie können stattdessen den benutzerdefinierten Modus für die oben aufgeführten Testtypen verwenden.

Tipp

Wenn Ihr Anwendungsfall mindestens einen der oben genannten Faktoren beinhaltet, empfehlen wir dringend, zum benutzerdefinierten Ausführungsmodus zu wechseln.

Schritte zur Migration

Gehen Sie wie folgt vor, um vom Standardmodus zum benutzerdefinierten Modus zu migrieren:

1. Melden Sie sich bei der Device Farm Farm-Konsole an AWS Management Console und öffnen Sie sie unter https://console.aws.amazon.com/devicefarm/.

2. Wählen Sie Ihr Projekt aus und starten Sie dann einen neuen Automatisierungslauf.

3. Laden Sie Ihre App hoch (oder wählen Sie sie ausweb app), wählen Sie Ihren Test-Framework-Typ aus, laden Sie Ihr Testpaket hoch und wählen Sie dann unter dem Choose your execution environment Parameter die Option fürRun your test in a custom environment.

4. Standardmäßig wird die Beispieldatei mit den Testspezifikationen von Device Farm angezeigt, sodass Sie sie ansehen und bearbeiten können. Diese Beispieldatei kann als Ausgangspunkt verwendet werden, um Ihre Tests im benutzerdefinierten Umgebungsmodus auszuprobieren. Sobald Sie dann von der Konsole aus überprüft haben, dass Ihre Tests ordnungsgemäß funktionieren, können Sie jede Ihrer API-, CLI- und Pipeline-Integrationen mit Device Farm ändern, um diese Testspezifikationsdatei als Parameter bei der Planung von Testläufen zu verwenden. Informationen zum Hinzufügen einer Testspezifikationsdatei als Parameter für Ihre Läufe finden Sie im testSpecArn Parameterabschnitt für die ScheduleRun API in unserem API-Leitfaden.

Appium-Framework

In einer benutzerdefinierten Testumgebung fügt Device Farm keine Appium-Funktionen in Ihre Appium-Framework-Tests ein oder überschreibt sie. Sie müssen die Appium-Funktionen Ihres Tests entweder in der YAML-Datei der Testspezifikation oder im Testcode angeben.

Android-Instrumentierung

Für die Migration Ihrer Android-Instrumentierungstests auf eine benutzerdefinierte Testumgebung müssen Sie keine Änderungen vornehmen.

iOS XCUITest

Für die Migration Ihrer iOS XCUITest-Tests auf eine benutzerdefinierte Testumgebung müssen Sie keine Änderungen vornehmen.