Memigrasi pengujian dari lingkungan pengujian standar ke lingkungan pengujian khusus

Panduan berikut menjelaskan cara beralih dari mode eksekusi uji standar ke mode eksekusi kustom. Migrasi terutama melibatkan dua bentuk eksekusi yang berbeda:

1. Modus standar: Mode eksekusi pengujian ini terutama dibangun untuk menyediakan pelanggan dengan pelaporan terperinci dan lingkungan yang dikelola sepenuhnya.

2. Mode kustom: Mode eksekusi pengujian ini dibuat untuk berbagai kasus penggunaan yang memerlukan uji coba lebih cepat, kemampuan untuk mengangkat dan menggeser dan mencapai paritas dengan lingkungan lokal mereka, dan streaming video langsung.

Pertimbangan saat bermigrasi

Bagian ini mencantumkan beberapa kasus penggunaan yang menonjol untuk dipertimbangkan saat bermigrasi ke mode kustom:

1. Kecepatan: Dalam mode eksekusi standar, Device Farm mem-parsing metadata pengujian yang telah Anda kemas dan unggah menggunakan instruksi pengemasan untuk kerangka kerja khusus Anda. Parsing mendeteksi jumlah tes dalam paket Anda. Setelah itu, Device Farm menjalankan setiap pengujian secara terpisah dan menyajikan log, video, dan artefak hasil lainnya secara individual untuk setiap pengujian. Namun, ini terus menambah total waktu eksekusi pengujian ujung-ke-ujung karena ada pra dan sesudah pemrosesan pengujian dan artefak hasil di ujung layanan.

   Sebaliknya, mode eksekusi kustom tidak mengurai paket pengujian Anda; ini berarti tidak ada pra-pemrosesan dan pasca-pemrosesan minimal untuk pengujian atau artefak hasil. Ini menghasilkan total waktu eksekusi end-to-end yang mendekati pengaturan lokal Anda. Pengujian dijalankan dalam format yang sama seperti jika dijalankan pada mesin lokal Anda. Hasil tes sama dengan apa yang Anda dapatkan secara lokal dan tersedia untuk diunduh di akhir pelaksanaan pekerjaan.

2. Kustomisasi atau Fleksibilitas: Mode eksekusi standar mem-parsing paket pengujian Anda untuk mendeteksi jumlah pengujian dan kemudian menjalankan setiap pengujian secara terpisah. Perhatikan bahwa tidak ada jaminan bahwa tes akan berjalan sesuai urutan yang Anda tentukan. Akibatnya, tes yang membutuhkan urutan eksekusi tertentu mungkin tidak berfungsi seperti yang diharapkan. Selain itu, tidak ada cara untuk menyesuaikan lingkungan mesin host atau meneruskan file konfigurasi yang mungkin diperlukan untuk menjalankan pengujian Anda dengan cara tertentu.

   Sebaliknya, mode kustom memungkinkan Anda mengonfigurasi lingkungan mesin host termasuk kemampuan untuk menginstal perangkat lunak tambahan, meneruskan filter ke pengujian Anda, meneruskan file konfigurasi, dan mengontrol pengaturan eksekusi pengujian. Ini mencapai ini melalui file yaml (juga disebut file testspec) yang dapat Anda modifikasi dengan menambahkan perintah shell ke dalamnya. File yaml ini akan dikonversi ke skrip shell yang dieksekusi pada mesin host uji. Anda dapat menyimpan beberapa file yaml dan memilih satu secara dinamis sesuai kebutuhan Anda saat Anda menjadwalkan proses.

3. Video langsung dan pencatatan: Mode eksekusi standar dan kustom memberi Anda video dan log untuk pengujian Anda. Namun, dalam mode standar, Anda mendapatkan video dan log pengujian yang telah ditentukan sebelumnya hanya setelah pengujian Anda selesai.

   Sebaliknya, mode kustom memberi Anda streaming langsung video dan log sisi klien pengujian Anda. Selain itu, Anda dapat mengunduh video dan artefak lainnya di akhir tes.

4. penghentian: Jenis pengujian berikut akan dihentikan pada akhir Desember 2023 dalam mode eksekusi standar:

   • Appium (semua bahasa)

   • Labu

   • XCTest

   • Otomatisasi UI

   • Automator UI

   • Tes Web

   • Penjelajah bawaan

   Setelah usang, Anda tidak akan dapat menggunakan kerangka kerja ini dalam mode standar. Sebagai gantinya, Anda dapat menggunakan mode khusus untuk jenis pengujian yang tercantum di atas.

Tip

Jika kasus penggunaan Anda melibatkan setidaknya satu dari faktor di atas, kami sangat menyarankan untuk beralih ke mode eksekusi kustom.

Langkah migrasi

Untuk bermigrasi dari mode standar ke mode khusus, lakukan hal berikut:

1. Masuk keAWS Management Consoledan buka konsol Device Farm dihttps://console.aws.amazon.com/devicefarm/.

2. Pilih proyek Anda dan kemudian mulai menjalankan otomatisasi baru.

3. Unggah aplikasi Anda (atau pilihweb app), pilih jenis kerangka pengujian Anda, unggah paket pengujian Anda, lalu di bawahChoose your execution environmentparameter, pilih opsi untukRun your test in a custom environment.

4. Secara default, file spesifikasi pengujian contoh Device Farm akan muncul untuk Anda lihat dan edit. File contoh ini dapat digunakan sebagai tempat awal untuk mencoba pengujian Andamode lingkungan kustom. Kemudian, setelah Anda memverifikasi bahwa pengujian Anda berfungsi dengan baik dari konsol, Anda kemudian dapat mengubah integrasi API, CLI, dan pipeline apa pun dengan Device Farm untuk menggunakan file spesifikasi pengujian ini sebagai parameter saat penjadwalan pengujian berjalan. Untuk informasi tentang cara menambahkan file spesifikasi pengujian sebagai parameter untuk proses Anda, lihattestSpecArnbagian parameter untukScheduleRunAPI di kamiPanduan API.

Kerangka Appium

Dalam lingkungan pengujian khusus, Device Farm tidak menyisipkan atau mengganti kemampuan Appium apa pun dalam pengujian kerangka kerja Appium Anda. Anda harus menentukan kemampuan Appium pengujian Anda baik dalam file YAMM spesifikasi pengujian atau kode pengujian Anda.

Instrumentasi Android

Anda tidak perlu membuat perubahan untuk memindahkan pengujian instrumentasi Android ke lingkungan pengujian khusus.

iOS XCuitest

Anda tidak perlu membuat perubahan untuk memindahkan pengujian iOS XCUITest Anda ke lingkungan pengujian khusus.