Bekerja dengan laporan pengujian di Device Farm

Gunakan konsol Device Farm untuk melihat laporan pengujian Anda. Untuk informasi selengkapnya, lihat Laporan di AWS Device Farm.

Prasyarat

Siapkan uji coba dan verifikasi bahwa itu sudah selesai.

1. Untuk membuat run, lihatMembuat uji coba di Device Farm, dan kemudian kembali ke halaman ini.

2. Verifikasi bahwa proses selesai. Selama uji coba, konsol Device Farm menampilkan ikon tertunda untuk proses yang sedang berlangsung. Setiap perangkat yang sedang dijalankan juga akan dimulai dengan ikon yang tertunda, lalu beralih ke ikon yang sedang berjalan saat pengujian dimulai. Saat setiap pengujian selesai, ikon hasil pengujian ditampilkan di sebelah nama perangkat. Ketika semua pengujian telah selesai, ikon tertunda di sebelah run berubah menjadi ikon hasil pengujian. Untuk informasi selengkapnya, lihat Memahami hasil tes.

Memahami hasil tes

Konsol Device Farm menampilkan ikon yang membantu Anda menilai status uji coba selesai dengan cepat.

Topik

• Melaporkan hasil untuk tes individu
• Melaporkan hasil untuk beberapa tes

Melaporkan hasil untuk tes individu

Untuk laporan yang menjelaskan pengujian individual, Device Farm menampilkan ikon:

Deskripsi	Ikon
Tes berhasil.
Tes gagal.
Device Farm melewatkan tes.
Tes berhenti.
Device Farm mengembalikan peringatan.
Device Farm mengembalikan kesalahan.

Melaporkan hasil untuk beberapa tes

Jika Anda memilih proses yang sudah selesai, Device Farm akan menampilkan grafik ringkasan hasil pengujian.

Misalnya, grafik hasil uji coba ini menunjukkan bahwa run memiliki 4 tes berhenti, 1 tes gagal, dan 10 tes yang berhasil.

Grafik selalu diberi kode warna dan diberi label.

Melihat laporan

Anda dapat melihat hasil pengujian di konsol Device Farm.

Topik

• Lihat halaman ringkasan uji coba
• Lihat laporan masalah unik
• Lihat laporan perangkat
• Lihat laporan rangkaian pengujian
• Lihat laporan pengujian
• Melihat data kinerja untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan
• Melihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan

Lihat halaman ringkasan uji coba

1. Masuk ke konsol Device Farm di https://console.aws.amazon.com/devicefarm.

2. Di panel navigasi, pilih Pengujian Perangkat Seluler, lalu pilih Proyek.

3. Dalam daftar proyek, pilih proyek untuk dijalankan.

   Tip

   Untuk memfilter daftar proyek berdasarkan nama, gunakan bilah pencarian.

4. Pilih proses yang sudah selesai untuk melihat halaman laporan ringkasannya.

5. Halaman ringkasan uji coba menampilkan ikhtisar hasil pengujian Anda.

   • Bagian Masalah unik mencantumkan peringatan dan kegagalan unik. Untuk melihat masalah unik, ikuti instruksi diLihat laporan masalah unik.

   • Bagian Perangkat menampilkan jumlah total pengujian, berdasarkan hasil, untuk setiap perangkat.

     

     Dalam contoh ini, ada beberapa perangkat. Pada entri tabel pertama, perangkat Google Pixel 4 XL yang menjalankan Android versi 10 melaporkan tiga pengujian yang berhasil yang membutuhkan waktu 02:36 menit untuk dijalankan.

     Untuk melihat hasil berdasarkan perangkat, ikuti petunjuk diLihat laporan perangkat.

   • Bagian Screenshots menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama proses dijalankan, dikelompokkan berdasarkan perangkat.

   • Di bagian Hasil parsing, Anda dapat mengunduh hasil parsing.

Lihat laporan masalah unik

1. Dalam Masalah unik, pilih masalah yang ingin Anda lihat.

2. Pilih perangkat. Laporan menampilkan informasi tentang masalah tersebut.

   Bagian Video menampilkan rekaman video pengujian yang dapat diunduh.

   Bagian Hasil menampilkan hasil tes. Status direpresentasikan sebagai ikon hasil. Untuk informasi selengkapnya, lihat Melaporkan hasil untuk tes individu.

   Bagian Log menampilkan informasi apa pun yang dicatat oleh Device Farm selama pengujian. Untuk melihat informasi ini, ikuti instruksi diMelihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan.

   Tab Performance menampilkan informasi tentang data performa apa pun yang dihasilkan Device Farm selama pengujian. Untuk melihat data kinerja ini, ikuti petunjuk diMelihat data kinerja untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan.

   Tab File menampilkan daftar file terkait pengujian (seperti file log) yang dapat Anda unduh. Untuk mengunduh file, pilih tautan file dalam daftar.

   Tab Screenshots menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama pengujian.

Lihat laporan perangkat

• Di bagian Perangkat, pilih perangkat.

  Bagian Video menampilkan rekaman video pengujian yang dapat diunduh.

  Bagian Suites menampilkan tabel yang berisi informasi tentang suite untuk perangkat.

  Dalam tabel ini, kolom Hasil pengujian merangkum jumlah pengujian berdasarkan hasil untuk setiap rangkaian pengujian yang telah berjalan di perangkat. Data ini juga memiliki komponen grafis. Untuk informasi selengkapnya, lihat Melaporkan hasil untuk beberapa tes.

  Untuk melihat hasil lengkap berdasarkan suite, ikuti petunjuk diLihat laporan rangkaian pengujian.

  Bagian Log menampilkan informasi apa pun yang dicatat oleh Device Farm untuk perangkat selama dijalankan. Untuk melihat informasi ini, ikuti instruksi diMelihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan.

  Bagian Performance menampilkan informasi tentang data performa apa pun yang dihasilkan Device Farm untuk perangkat selama dijalankan. Untuk melihat data kinerja ini, ikuti petunjuk diMelihat data kinerja untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan.

  Bagian File menampilkan daftar suite untuk perangkat dan file terkait apa pun (seperti file log) yang dapat Anda unduh. Untuk mengunduh file, pilih tautan file dalam daftar.

  Bagian Screenshots menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama menjalankan perangkat, dikelompokkan berdasarkan suite.

Lihat laporan rangkaian pengujian

1. Di bagian Perangkat, pilih perangkat.

2. Di bagian Suites, pilih suite dari tabel.

   Bagian Video menampilkan rekaman video pengujian yang dapat diunduh.

   Bagian Tes menampilkan tabel yang berisi informasi tentang pengujian di suite.

   Dalam tabel, kolom Hasil tes menampilkan hasilnya. Data ini juga memiliki komponen grafis. Untuk informasi selengkapnya, lihat Melaporkan hasil untuk beberapa tes.

   Untuk melihat hasil lengkap dengan tes, ikuti instruksi diLihat laporan pengujian.

   Bagian Log menampilkan informasi apa pun yang dicatat oleh Device Farm selama menjalankan suite. Untuk melihat informasi ini, ikuti instruksi diMelihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan.

   Bagian Performance menampilkan informasi tentang data performa apa pun yang dihasilkan Device Farm selama menjalankan suite. Untuk melihat data kinerja ini, ikuti petunjuk diMelihat data kinerja untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan.

   Bagian File menampilkan daftar pengujian untuk suite dan file terkait apa pun (seperti file log) yang dapat Anda unduh. Untuk mengunduh file, pilih tautan file dalam daftar.

   Bagian Screenshots menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama menjalankan suite, dikelompokkan berdasarkan pengujian.

Lihat laporan pengujian

1. Di bagian Perangkat, pilih perangkat.

2. Di bagian Suites, pilih suite.

3. Di bagian Tes, pilih tes.

4. Bagian Video menampilkan rekaman video pengujian yang dapat diunduh.

   Bagian Hasil menampilkan hasil tes. Status direpresentasikan sebagai ikon hasil. Untuk informasi selengkapnya, lihat Melaporkan hasil untuk tes individu.

   Bagian Log menampilkan informasi apa pun yang dicatat oleh Device Farm selama pengujian. Untuk melihat informasi ini, ikuti instruksi diMelihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan.

   Tab Performance menampilkan informasi tentang data performa apa pun yang dihasilkan Device Farm selama pengujian. Untuk melihat data kinerja ini, ikuti petunjuk diMelihat data kinerja untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan.

   Tab File menampilkan daftar file terkait pengujian (seperti file log) yang dapat Anda unduh. Untuk mengunduh file, pilih tautan file dalam daftar.

   Tab Screenshots menampilkan daftar tangkapan layar apa pun yang ditangkap Device Farm selama pengujian.

Melihat data kinerja untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan

catatan

Device Farm mengumpulkan data performa perangkat hanya untuk host uji Android lama yang tidak menggunakan host amazon_linux_2 pengujian terbaru. Fitur ini tidak didukung di iOS.

Tab Performance menampilkan informasi berikut:

• CPUGrafik menampilkan persentase aplikasi CPU yang digunakan pada satu inti selama masalah, perangkat, rangkaian, atau pengujian yang dipilih (sepanjang sumbu vertikal) dari waktu ke waktu (sepanjang sumbu horizontal).

  Sumbu vertikal dinyatakan dalam persentase, dari 0% hingga persentase maksimum yang tercatat.

  Persentase ini mungkin melebihi 100% jika aplikasi menggunakan lebih dari satu inti. Misalnya, jika tiga core menggunakan 60%, persentase ini ditampilkan sebagai 180%.

• Grafik Memori menampilkan jumlah MB yang digunakan aplikasi selama masalah, perangkat, rangkaian, atau pengujian yang dipilih (sepanjang sumbu vertikal) dari waktu ke waktu (sepanjang sumbu horizontal).

  Sumbu vertikal dinyatakan dalam MB, dari 0 MB hingga jumlah maksimum MB yang direkam.

• Grafik Threads menampilkan jumlah utas yang digunakan selama masalah, perangkat, rangkaian, atau pengujian yang dipilih (sepanjang sumbu vertikal) dari waktu ke waktu (sepanjang sumbu horizontal).

  Sumbu vertikal dinyatakan dalam jumlah utas, dari nol utas hingga jumlah maksimum utas yang direkam.

Dalam semua kasus, sumbu horizontal diwakili, dalam hitungan detik, dari awal dan akhir proses untuk masalah, perangkat, suite, atau pengujian yang dipilih.

Untuk menampilkan informasi untuk titik data tertentu, jeda dalam grafik yang diinginkan pada detik yang diinginkan di sepanjang sumbu horizontal.

Melihat informasi log untuk masalah, perangkat, rangkaian, atau pengujian dalam laporan

Bagian Log menampilkan informasi berikut:

• Sumber mewakili sumber entri log. Nilai yang mungkin termasuk:

  • Harness mewakili entri log yang dibuat Device Farm. Entri log ini biasanya dibuat selama acara start dan stop.

  • Perangkat mewakili entri log yang dibuat perangkat. Untuk Android, entri log ini kompatibel dengan logcat-. Untuk iOS, entri log ini kompatibel dengan syslog.

  • Tes merupakan entri log yang dibuat oleh pengujian atau kerangka pengujian.

• Waktu mewakili waktu yang telah berlalu antara entri log pertama dan entri log ini. Waktu dinyatakan dalam MM:SS.SSS format, di mana M mewakili menit dan S mewakili detik.

• PIDmerupakan pengidentifikasi proses (PID) yang membuat entri log. Semua entri log yang dibuat oleh aplikasi di perangkat memiliki hal yang samaPID.

• Level mewakili tingkat logging untuk entri log. Misalnya, Logger.debug("This is a message!") mencatat Level dariDebug. Ini adalah nilai yang mungkin:

  • Waspada

  • Kritis

  • Debug

  • Darurat

  • Kesalahan

  • Errored

  • Failed

  • Info

  • Internal

  • Pemberitahuan

  • Lulus

  • Dilewati

  • Stopped

  • Verbose

  • Diperingatkan

  • Peringatan

• Tag mewakili metadata arbitrer untuk entri log. Misalnya, Android logcat dapat menggunakan ini untuk menjelaskan bagian mana dari sistem yang membuat entri log (misalnya,ActivityManager).

• Pesan mewakili pesan atau data untuk entri log. Misalnya, Logger.debug("Hello, World!") mencatat Pesan dari"Hello, World!".

Untuk menampilkan hanya sebagian dari informasi:

• Untuk menampilkan semua entri log yang cocok dengan nilai untuk kolom tertentu, masukkan nilai ke dalam bilah pencarian. Misalnya, untuk menampilkan semua entri log dengan nilai SumberHarness, masukkan Harness di bilah pencarian.

• Untuk menghapus semua karakter dari kotak header kolom, pilih X di kotak header kolom itu. Menghapus semua karakter dari kotak header kolom sama dengan memasukkan * kotak header kolom itu.

Untuk mengunduh semua informasi log untuk perangkat, termasuk semua suite dan pengujian yang Anda jalankan, pilih Unduh log.