Device Farm에서 테스트 보고서 작업 - AWS Device Farm
사전 조건테스트 결과의 이해보고서 보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Device Farm에서 테스트 보고서 작업

Device Farm 콘솔을 사용하여 테스트 보고서를 볼 수 있습니다. 자세한 내용은 AWS Device Farm에 있는 보고서 단원을 참조하세요.

사전 조건

테스트 실행을 설정하고 완료되었는지 확인하세요.

  1. 실행을 생성하려면 Device Farm에서 테스트 실행 생성을 참조한 다음 이 페이지로 돌아오세요.

  2. 실행이 완료되었는지 확인 테스트 실행 중에 Device Farm 콘솔에는 진행 중인 실행에 대한 보류 중 아이콘 Device Farm scheduled a job. 이 표시됩니다. 실행 중인 각 디바이스도 보류 중 아이콘으로 시작하다가 테스트가 시작되면 실행 중 아이콘 Device Farm progress indicator. 로 전환됩니다. 각 테스트가 완료되면 디바이스 이름 옆에 테스트 결과 아이콘이 표시됩니다. 모든 테스트가 완료되면 실행 옆에 있는 보류 중 아이콘이 테스트 결과 아이콘으로 바뀝니다. 자세한 내용은 테스트 결과의 이해 단원을 참조하세요.

테스트 결과의 이해

Device Farm 콘솔에는 완료된 테스트 실행의 상태를 빠르게 평가하는 데 도움이 되는 아이콘이 표시됩니다.

개별 테스트에 대한 결과 보고

개별 테스트를 설명하는 보고서의 경우 Device Farm이 다음 아이콘을 표시합니다.

설명 아이콘
테스트가 성공했습니다. The test succeeded.
테스트에 실패했습니다. The test failed.
Device Farm은 테스트를 건너뛰었습니다. The test was skipped.
테스트가 중단되었습니다. The test was stopped.
Device Farm에서 경고를 반환했습니다. Device Farm returned a warning.
Device Farm에서 오류가 반환되었습니다. Device Farm returned an error.

여러 테스트에 대한 결과 보고

실행을 완료한 경우 Device Farm은 테스트 결과 요약 그래프를 표시합니다.

Device Farm test results summary graph.

예를 들어 이 테스트 실행 결과 그래프는 중지된 테스트 4개, 실패한 테스트 1개, 성공한 테스트 10개를 보여줍니다.

그래프는 항상 색으로 구분되고 레이블이 지정됩니다.

보고서 보기

Device Farm 콘솔에서 테스트 결과를 볼 수 있습니다.

테스트 실행 요약 페이지 보기

  1. https://console.aws.amazon.com/devicefarm에서 Device Farm 콘솔에 로그인하세요.

  2. 탐색 창에서 모바일 디바이스 테스트를 선택하고 프로젝트를 선택하세요.

  3. 프로젝트 목록에서 실행할 프로젝트를 선택하세요.

    작은 정보

    검색 창을 사용하여 리소스 이름별로 목록을 필터링하세요.

  4. 완료된 실행을 선택하면 요약 보고서 페이지를 볼 수 있습니다.

  5. 테스트 실행 요약 페이지에는 테스트 결과 개요가 표시됩니다.

    • 고유한 문제 섹션에는 고유한 경고 및 실패가 나열되어 있습니다. 고유한 문제를 보려면 고유한 문제 보고서 보기의 지침을 따르세요.

    • 디바이스 섹션에는 각 디바이스에 대한 총 테스트 수가 결과별로 표시됩니다.

      Device Farm device summary results.

      이 예시는 여러 디바이스를 포함합니다. A첫 번째 표 항목에서 Android 버전 10을 실행하는 Google Pixel 4 XL 디바이스는 실행에 02:36분 소요된 3개 테스트를 성공적으로 완료했다고 보고합니다.

      디바이스별로 결과를 보려면 디바이스 보고서 보기 단원의 안내를 따르세요.

    • 스크린샷 섹션에는 Device Farm이 실행 중에 캡처한 스크린샷 목록이 디바이스별로 그룹화되어 표시됩니다.

    • 파싱 결과 섹션에서 파싱 결과를 다운로드할 수 있습니다.

고유한 문제 보고서 보기

  1. 고유한 문제에서 보려는 문제를 선택하세요.

  2. 디바이스를 선택하세요. 보고서에는 문제에 대한 정보가 표시됩니다.

    비디오 섹션에는 테스트의 다운로드 가능한 비디오 녹화가 표시됩니다.

    결과 섹션에는 테스트 결과가 표시됩니다. 상태는 결과 아이콘으로 표시됩니다. 자세한 내용은 개별 테스트에 대한 결과 보고 단원을 참조하세요.

    로그 섹션에는 Device Farm이 테스트 중에 기록한 모든 정보가 표시됩니다. 이 정보를 보려면 보고서에서 문제, 디바이스, 스위트 및 테스트 로그 정보 보기의 지침을 따르세요.

    성능 탭에는 Device Farm이 테스트 중에 생성한 모든 성능 데이터에 대한 정보가 표시됩니다. 성능 데이터를 보려면 보고서에서 문제, 디바이스, 스위트 및 테스트 성능 데이터 보기의 지침을 따르세요.

    파일 탭에는 다운로드할 수 있는 모든 테스트 관련 파일(예: 로그 파일)의 목록이 표시됩니다. 파일을 다운로드하려면 목록에서 파일 링크를 선택하세요.

    스크린샷 탭에는 Device Farm이 테스트 중에 캡처한 스크린샷 목록이 표시됩니다.

디바이스 보고서 보기

  • 디바이스 섹션에서 디바이스를 선택하세요.

    비디오 섹션에는 테스트의 다운로드 가능한 비디오 녹화가 표시됩니다.

    스위트 섹션에는 디바이스의 스위트 정보가 담긴 표가 표시됩니다.

    이 표의 테스트 결과 열은 디바이스에서 실행된 각 테스트 스위트의 테스트 수가 결과별로 요약되어 있습니다. 이 데이터에는 그래픽 구성 요소 또한 포함합니다. 자세한 내용은 여러 테스트에 대한 결과 보고 단원을 참조하세요.

    스위트별 전체 결과를 보려면 테스트 스위트 보고서 보기 단원의 지침을 따르세요.

    로그 섹션에는 Device Farm이 실행 중에 디바이스에 대해 기록한 모든 정보가 표시됩니다. 이 정보를 보려면 보고서에서 문제, 디바이스, 스위트 및 테스트 로그 정보 보기의 지침을 따르세요.

    성능 섹션에는 Device Farm이 실행 중에 디바이스에 대해 생성한 모든 성능 데이터에 대한 정보가 표시됩니다. 성능 데이터를 보려면 보고서에서 문제, 디바이스, 스위트 및 테스트 성능 데이터 보기의 지침을 따르세요.

    파일 섹션에는 디바이스의 스위트 목록과 다운로드할 수 있는 관련 파일(예: 로그 파일)이 표시됩니다. 파일을 다운로드하려면 목록에서 파일 링크를 선택하세요.

    스크린샷 섹션에는 Device Farm이 디바이스 실행 중에 캡처한 스크린샷 목록이 세트별로 그룹화되어 표시됩니다.

테스트 스위트 보고서 보기

  1. 디바이스 섹션에서 디바이스를 추가하세요.

  2. 스위트 섹션의 표에 있는 스위트를 선택하세요.

    비디오 섹션에는 테스트의 다운로드 가능한 비디오 녹화가 표시됩니다.

    테스트 섹션에는 스위트의 테스트 정보가 담긴 표가 표시됩니다.

    표의 테스트 결과 열에는 결과가 표시됩니다. 이 데이터에는 그래픽 구성 요소도 또한 포함합니다. 자세한 내용은 여러 테스트에 대한 결과 보고 단원을 참조하세요.

    테스트별 전체 결과를 보려면 테스트 보고서 보기의 지침을 따르세요.

    로그 섹션에는 스위트 실행 중에 Device Farm이 기록한 모든 정보가 표시됩니다. 이 정보를 보려면 보고서에서 문제, 디바이스, 스위트 및 테스트 로그 정보 보기의 지침을 따르세요.

    성능 섹션에는 스위트 실행 중에 Device Farm이 생성한 모든 성능 데이터에 대한 정보가 표시됩니다. 성능 데이터를 보려면 보고서에서 문제, 디바이스, 스위트 및 테스트 성능 데이터 보기의 지침을 따르세요.

    파일 섹션에는 스위트의 테스트 목록과 다운로드할 수 있는 관련 파일(예: 로그 파일)이 표시됩니다. 파일을 다운로드하려면 목록에서 파일 링크를 선택하세요.

    스크린샷 섹션에는 스위트 실행 중에 Device Farm이 캡처한 스크린샷 목록이 테스트별로 그룹화되어 표시됩니다.

테스트 보고서 보기

  1. 디바이스 섹션에서 디바이스를 선택하세요.

  2. 스위트 섹션에서 스위트를 선택하세요.

  3. 테스트 섹션에서 테스트를 선택하세요.

  4. 비디오 섹션에는 테스트의 다운로드 가능한 비디오 녹화가 표시됩니다.

    결과 섹션에는 테스트 결과가 표시됩니다. 상태는 결과 아이콘으로 표시됩니다. 자세한 내용은 개별 테스트에 대한 결과 보고 단원을 참조하세요.

    로그 섹션에는 Device Farm이 테스트 중에 기록한 모든 정보가 표시됩니다. 이 정보를 보려면 보고서에서 문제, 디바이스, 스위트 및 테스트 로그 정보 보기의 지침을 따르세요.

    성능 탭에는 Device Farm이 테스트 중에 생성한 모든 성능 데이터에 대한 정보가 표시됩니다. 성능 데이터를 보려면 보고서에서 문제, 디바이스, 스위트 및 테스트 성능 데이터 보기의 지침을 따르세요.

    파일 탭에는 다운로드할 수 있는 모든 테스트 관련 파일(예: 로그 파일)의 목록이 표시됩니다. 파일을 다운로드하려면 목록에서 파일 링크를 선택하세요.

    스크린샷 탭에는 Device Farm이 테스트 중에 캡처한 스크린샷 목록이 표시됩니다.

보고서에서 문제, 디바이스, 스위트 및 테스트 성능 데이터 보기

참고

Device Farm은 현재 Android 디바이스에 대한 디바이스 성능 데이터만 수집합니다.

성능 탭에는 다음 정보가 표시됩니다.

  • CPU 그래프는 선택한 문제, 디바이스, 스위트 또는 테스트(세로축 기준)에 대하여 앱이 단일 코어에서 사용한 CPU의 시간(가로축 기준)에 따른 비율을 표시합니다.

    세로축은 0%에서 기록된 최대 백분율까지의 백분율로 표시됩니다.

    앱에서 코어를 두 개 이상 사용한 경우 이 비율은 100%를 초과할 수 있습니다. 예를 들어 3개 코어의 사용량이 60%인 경우 이 비율은 180%로 표시됩니다.

  • 메모리 그래프에는 선택한 문제, 디바이스, 스위트 또는 테스트(세로축 기준) 중에 앱이 사용한 MB 수가 시간 경과(가로축 기준)에 따라 표시됩니다.

    세로축은 0MB부터 기록된 최대 MB 수까지 MB 단위로 표시됩니다.

  • 스레드 그래프는 선택한 문제, 디바이스, 스위트 또는 테스트(세로축 기준) 중에 사용된 스레드 수를 시간 경과(가로축 기준)에 따라 표시합니다.

    세로축은 스레드 수로 표시되며, 스레드 수는 0개부터 기록된 최대 스레드 수까지입니다.

모든 경우에 가로축은 선택한 문제, 디바이스, 스위트 또는 테스트의 실행 시작 및 종료 시점부터 초 단위로 표시됩니다.

특정 데이터 포인트에 대한 정보를 표시하려면 원하는 그래프에서 가로축을 따라 원하는 초 단위에서 잠시 멈추세요.

보고서에서 문제, 디바이스, 스위트 및 테스트 로그 정보 보기

로그 섹션에는 다음 정보가 표시됩니다.

  • 소스는 로그 항목의 출처를 나타냅니다. 가능한 값은 다음과 같습니다.

    • 도구는 Device Farm에서 생성한 로그 항목을 나타냅니다. 이러한 로그 항목은 일반적으로 시작 및 중지 이벤트 중에 생성됩니다.

    • 디바이스는 디바이스에서 생성한 로그 항목을 나타냅니다. Android의 경우 이러한 로그 항목은 logcat과 호환됩니다. iOS의 경우 이러한 로그 항목은 syslog와 호환됩니다.

    • 테스트는 테스트 또는 테스트 프레임워크에서 만든 로그 항목을 나타냅니다.

  • 시간은 첫 번째 로그 항목과 이 로그 항목 사이의 경과 시간을 나타냅니다. 시간은 MM:SS.SSS 형식으로 표시되며, 여기서 M은 분을 나타내고 S는 초를 나타냅니다.

  • PID는 로그 항목을 생성한 프로세스 식별자(PID)를 나타냅니다. 디바이스에서 앱으로 만든 모든 로그 항목은 동일한 PID를 가집니다.

  • 레벨은 로그 항목의 로깅 레벨을 나타냅니다. 예를 들어, Logger.debug("This is a message!")는 Debug의 레벨를 로깅합니다. 사용 가능한 값은 다음과 같습니다.

    • 알림

    • 위험

    • 디버그

    • 긴급 상황

    • 오류

    • 오류 발생

    • 실패

    • 정보

    • 내부

    • 알림

    • 통과

    • 건너뜀

    • 중지됨

    • 상세 표시

    • 경고

    • 경고

  • 태그는 로그 항목의 임의 메타데이터를 나타냅니다. 예를 들어 Android logcat은 이를 사용하여 시스템의 어느 부분에서 로그 항목을 생성했는지 설명할 수 있습니다(예: ActivityManager).

  • 메시지는 로그 항목에 대한 메시지 또는 데이터를 나타냅니다. 예를 들어, Logger.debug("Hello, World!")은 "Hello, World!"의 메시지를 로깅합니다.

정보의 일부만 표시하려면 다음을 따르세요.

  • 특정 열의 값과 일치하는 모든 로그 항목을 표시하려면 검색 창에 값을 입력합니다. 예를 들어, 소스 값이 Harness인 모든 로그 항목을 표시하려면 검색 창에 Harness를 입력합니다.

  • 열 헤더 상자에서 모든 문자를 제거하려면 해당 열 헤더 상자에서 X를 선택하세요. 열 헤더 상자에서 모든 문자를 제거하는 것은 해당 열 헤더 상자에 *을 입력하는 것과 같습니다.

실행한 모든 스위트 및 테스트를 포함하는 디바이스에 대한 모든 로그 정보를 다운로드하려면 로그 다운로드를 선택하세요.