Trabalhar com relatórios de testes no Device Farm

Use o console do Device Farm para visualizar seus relatórios de testes. Para ter mais informações, consulte Relatórios em AWS Device Farm.

Pré-requisitos

Configure uma execução de teste e verifique se ela foi concluída.

1. Para criar uma execução, consulte Criar uma execução de teste no Device Farm e retorne a esta página.

2. Verifique se a execução foi concluída. Durante a execução do teste, o console do Device Farm exibe um ícone pendente para execuções que estão em andamento. Cada dispositivo na execução também começará com o ícone pendente e, em seguida, mudará para o ícone em execução quando o teste começar. Quando cada teste é concluído, um ícone de resultado do teste é exibido ao lado do nome do dispositivo. Quando todos os testes tiverem sido concluídos, o ícone pendente ao lado da execução mudará para um ícone de resultado de teste. Para ter mais informações, consulte Compreensão dos resultados dos testes.

Compreensão dos resultados dos testes

O console do Device Farm exibe ícones que ajudam a avaliar rapidamente o estado da execução de teste concluída.

Tópicos

• Relatório de resultados de um teste individual
• Relatórios de resultados de vários testes

Relatório de resultados de um teste individual

Para relatórios que descrevem um teste individual, o Device Farm exibe um ícone:

Descrição	Ícone
O teste bem-sucedido.
Falha no teste.
O Device Farm ignorou o teste.
O teste foi interrompido.
O Device Farm retornou um aviso.
O Device Farm retornou um erro.

Relatórios de resultados de vários testes

Se você escolher uma execução concluída, o Device Farm exibirá um grafo de resumo dos resultados do teste.

Por exemplo, esse grafo de resultados de execução de teste mostra que a execução teve 4 testes interrompidos, 1 teste com falha e 10 testes bem-sucedidos.

Os grafos são sempre codificados por cores e rotulados.

Visualizar relatórios

Você pode visualizar os resultados do seu teste no console do Device Farm.

Tópicos

• Visualizar a página de resumo da execução de teste
• Visualizar relatórios de problemas exclusivos
• Visualizar relatórios do dispositivo
• Visualizar relatórios do conjunto de testes
• Visualizar relatórios de teste
• Visualizar dados de desempenho de um problema, dispositivo, conjunto ou teste em um relatório
• Visualizar informações de log de um problema, dispositivo, conjunto ou teste em um relatório

Visualizar a página de resumo da execução de teste

1. Faça login no console do Device Farm em https://console.aws.amazon.com/devicefarm.

2. No painel de navegação, escolha Teste para dispositivos móveis e Projetos.

3. Na lista de projetos, escolha o projeto para a execução.

   dica

   Para filtrar a lista de projetos por nome, use a barra de pesquisa.

4. Escolha uma execução concluída para visualizar a página de relatório resumido.

5. A página de resumo da execução de teste exibe uma visão geral dos resultados do teste.

   • A seção Problemas exclusivos lista avisos e falhas exclusivos. Para visualizar problemas exclusivos, siga as instruções em Visualizar relatórios de problemas exclusivos.

   • A seção Dispositivos exibe o número total de testes, por resultado, para cada dispositivo.

     

     Neste exemplo, há vários dispositivos. Na primeira entrada da tabela, o dispositivo Google Pixel 4 XL com Android versão 10 relata três testes bem-sucedidos que levaram 2:36 minutos para serem executados.

     Para visualizar os resultados por dispositivo, siga as instruções em Visualizar relatórios do dispositivo.

   • A seção Capturas de tela exibe uma lista de todas as capturas de tela que o Device Farm fez durante a execução, agrupadas por dispositivo.

   • Na seção Resultado da análise, você pode baixar o resultado da análise.

Visualizar relatórios de problemas exclusivos

1. Em Problemas exclusivos, escolha o problema que você deseja visualizar.

2. Escolha o dispositivo. O relatório exibe informações sobre o problema.

   A seção Vídeo exibe a gravação em vídeo do teste disponível para download.

   A seção Resultado exibe o resultado do teste. O status é representado como um ícone de resultado. Para ter mais informações, consulte Relatório de resultados de um teste individual.

   A seção Logs exibe todas as informações que o Device Farm registrou durante o teste. Para visualizar essas informações, siga as instruções em Visualizar informações de log de um problema, dispositivo, conjunto ou teste em um relatório.

   A guia Desempenho exibe informações sobre todos os dados de desempenho gerados pelo Device Farm durante o teste. Para visualizar esses dados de desempenho, siga as instruções em Visualizar dados de desempenho de um problema, dispositivo, conjunto ou teste em um relatório.

   A guia Arquivos exibe uma lista de todos os arquivos associados do teste (como arquivos de log) disponíveis para download. Para fazer download de um arquivo, selecione o link do arquivo na lista.

   A guia Capturas de tela exibe uma lista de todas as capturas de tela que o Device Farm fez durante o teste.

Visualizar relatórios do dispositivo

• Na seção Dispositivos, escolha o dispositivo.

  A seção Vídeo exibe a gravação em vídeo do teste disponível para download.

  A seção Conjuntos exibe uma tabela com informações sobre os conjuntos do dispositivo.

  Nessa tabela, a coluna Resultados do teste resume o número de testes por resultado para cada um dos conjuntos de testes que foram executados no dispositivo. Esses dados também têm um componente gráfico. Para ter mais informações, consulte Relatórios de resultados de vários testes.

  Para visualizar os resultados completos por conjunto, siga as instruções em Visualizar relatórios do conjunto de testes.

  A seção Logs exibe todas as informações que o Device Farm registrou para o dispositivo durante a execução. Para visualizar essas informações, siga as instruções em Visualizar informações de log de um problema, dispositivo, conjunto ou teste em um relatório.

  A seção Desempenho exibe informações sobre todos os dados de desempenho que o Device Farm gerou para o dispositivo durante a execução. Para visualizar esses dados de desempenho, siga as instruções em Visualizar dados de desempenho de um problema, dispositivo, conjunto ou teste em um relatório.

  A seção Arquivos exibe uma lista de conjuntos para o dispositivo e todos os arquivos associados (como arquivos de log) que podem ser baixados. Para fazer download de um arquivo, selecione o link do arquivo na lista.

  A seção Capturas de tela exibe uma lista de todas as capturas de tela que o Device Farm fez durante a execução do dispositivo, agrupadas por conjunto.

Visualizar relatórios do conjunto de testes

1. Na seção Dispositivos, escolha o dispositivo.

2. Na seção Conjuntos, escolha o conjunto na tabela.

   A seção Vídeo exibe a gravação em vídeo do teste disponível para download.

   A seção Testes exibe uma tabela contendo informações sobre os testes no conjunto.

   Na tabela, a coluna Resultados do teste exibe o resultado. Esses dados também têm um componente gráfico. Para ter mais informações, consulte Relatórios de resultados de vários testes.

   Para visualizar os resultados completos por teste, siga as instruções em Visualizar relatórios de teste.

   A seção Logs exibe todas as informações que o Device Farm registrou durante a execução do conjunto. Para visualizar essas informações, siga as instruções em Visualizar informações de log de um problema, dispositivo, conjunto ou teste em um relatório.

   A seção Desempenho exibe informações sobre dados de desempenho que o Device Farm gerou durante a execução do conjunto. Para visualizar esses dados de desempenho, siga as instruções em Visualizar dados de desempenho de um problema, dispositivo, conjunto ou teste em um relatório.

   A seção Arquivos exibe uma lista de testes para o conjunto e todos os arquivos associados (como arquivos de log) que podem ser baixados. Para fazer download de um arquivo, selecione o link do arquivo na lista.

   A seção Capturas de tela exibe uma lista de todas as capturas de tela que o Device Farm fez durante a execução do conjunto, agrupadas por teste.

Visualizar relatórios de teste

1. Na seção Dispositivos, escolha o dispositivo.

2. Na seção Conjuntos, escolha o conjunto.

3. Na seção Testes, escolha o teste.

4. A seção Vídeo exibe a gravação em vídeo do teste disponível para download.

   A seção Resultado exibe o resultado do teste. O status é representado como um ícone de resultado. Para ter mais informações, consulte Relatório de resultados de um teste individual.

   A seção Logs exibe todas as informações que o Device Farm registrou durante o teste. Para visualizar essas informações, siga as instruções em Visualizar informações de log de um problema, dispositivo, conjunto ou teste em um relatório.

   A guia Desempenho exibe informações sobre todos os dados de desempenho gerados pelo Device Farm durante o teste. Para visualizar esses dados de desempenho, siga as instruções em Visualizar dados de desempenho de um problema, dispositivo, conjunto ou teste em um relatório.

   A guia Arquivos exibe uma lista de todos os arquivos associados do teste (como arquivos de log) disponíveis para download. Para fazer download de um arquivo, selecione o link do arquivo na lista.

   A guia Capturas de tela exibe uma lista de todas as capturas de tela que o Device Farm fez durante o teste.

Visualizar dados de desempenho de um problema, dispositivo, conjunto ou teste em um relatório

nota

O Device Farm coleta dados de desempenho do dispositivo somente para hosts de teste Android legados que não usam o host de amazon_linux_2 teste mais recente. Esse recurso não é compatível com iOS.

A guia Desempenho exibe as seguintes informações:

• O CPUgráfico exibe a porcentagem do CPU que o aplicativo usou em um único núcleo durante o problema, dispositivo, suíte ou teste selecionado (ao longo do eixo vertical) ao longo do tempo (ao longo do eixo horizontal).

  O eixo vertical é expresso em porcentagem, de 0% à porcentagem registrada máxima.

  Essa porcentagem pode exceder 100% caso o aplicativo tenha usado mais de um núcleo. Por exemplo, caso três núcleos apresentem um uso de 60%, essa porcentagem é exibida como 180%.

• O grafo de Memória exibe o número de MB que a aplicação usou durante o problema, dispositivo, conjunto ou teste selecionado (no eixo vertical) ao longo do tempo (no eixo horizontal).

  O eixo vertical é expresso em MB, de 0 MB ao número máximo de MB registrado.

• O gráfico Threads exibe o número de threads usado pelo aplicativo relativamente ao problema, dispositivo, pacote ou teste selecionado (ao longo do eixo vertical) e relativamente ao tempo (ao longo do eixo horizontal).

  O eixo vertical é expresso em número de threads, de zero threads até o número máximo de threads registrados.

Em todos os casos, o eixo horizontal é representado em segundos, do início ao fim da execução relativamente ao problema, dispositivo, pacote ou teste selecionado.

Para exibir informações relacionadas a um determinado ponto de dados, pause sobre o segundo desejado ao longo do eixo horizontal do gráfico desejado.

Visualizar informações de log de um problema, dispositivo, conjunto ou teste em um relatório

A seção Logs exibe as seguintes informações:

• Origem representa a origem de uma entrada de log. Os possíveis valores incluem:

  • Harness representa uma entrada de log que o Device Farm criou. Essas entradas de log normalmente são criadas durante os eventos de início e interrupção.

  • Dispositivo representa uma entrada de log que o dispositivo criou. Para Android, essas entradas de log são compatíveis com logcat. Para iOS, essas entradas de log são compatíveis com syslog.

  • Teste representa uma entrada de log criada por um teste ou pela estrutura de teste.

• Hora representa o tempo decorrido entre a primeira entrada de log e a entrada de log em questão. O tempo é expresso em MM:SS.SSS formato, onde M representa minutos e S representa segundos.

• PIDrepresenta o identificador do processo (PID) que criou a entrada do registro. Todas as entradas de registro criadas por um aplicativo em um dispositivo têm o mesmoPID.

• Nível representa o nível de registro relativo à entrada de log. Por exemplo, Logger.debug("This is a message!") registra o Nível de Debug. Estes são os valores possíveis:

  • Alerta

  • Crítico

  • Depure

  • Emergência

  • Erro

  • Com erro

  • Com falha

  • Informações

  • Interno

  • Aviso

  • Aprovada

  • Skipped

  • Interrompido

  • Detalhado

  • Avisado

  • Aviso

• Tag representa metadados arbitrários relativos à entrada de log. Por exemplo, o logcat para Android pode usar esse recurso para descrever qual parte do sistema criou a entrada de log (por exemplo, ActivityManager).

• Mensagem representa a mensagem ou os dados relativos à entrada de log. Por exemplo, Logger.debug("Hello, World!") registra uma Mensagem de "Hello, World!".

Para exibir apenas uma parte das informações:

• Para mostrar todas as entradas de log que correspondem a um valor de uma coluna específica, insira o valor na barra de pesquisa. Por exemplo, para mostrar todas as entradas de log com o valor Origem de Harness, insira Harness na barra de pesquisa.

• Para remover todos os caracteres de uma caixa de cabeçalho de coluna, escolha o X na caixa de cabeçalho de coluna. Remover todos os caracteres de uma caixa de cabeçalho de coluna é o mesmo que inserir * nessa caixa de cabeçalho de coluna.

Para fazer download de todas as informações de registro do dispositivo, incluindo todos os conjuntos e testes executados, selecione Baixar logs.