Testando as alterações no Gaia

O procedimento de teste geralmente consiste-se de:

• Procedimento padrão de depuração
• Execução de testes automatizados

Vamos examinar essas áreas agora.

Depuração padrão

Se você é um desenvolvedor web experiente, então depurar um código Gaia pode ser um processo bem familiar. Nós já discutimos como executar o Gaia no Firefox Desktop, e como fazer uma alteração básica. Para alterações mais complexas, você deve fazer muito mais uso das ferramentas de depuração do Firefox disponíveis no Firefox Desktop.

Testes automatizados

Você também pode executar as suites padrões de testes automatizados antes de submeter uma correção, para certificar-se que as alterações no código não afetarão as funcionalidades essenciais do telefone. Os testes que podem ser executados são:

• testes unitário
• teste de performance
• testes da interface do usuário

Nós geralmente pedimos que esses testes sejam executados antes de submeter uma correção, se essa é sua primeira contribuição então você pode submeter sem os testes, mas você deve pedir ajuda para executar os testes no futuro. Você deve atualizar o repo do Gaia antes de executar os testes, para certificar-se que você tem a última versão.

Testes unitários

Testes unitários são testes em unidades individuais do código em uma aplicação maior — no caso do Gaia, aplicativos individuais. O Gaia usa para os testes:

• mocha para seus testes de framework
• chai como uma biblioteca assert
• sinon.js para uma biblioteca mock & stub
• blanket.js como uma ferramenta de teste de cobertura

Você pode executar o seguinte comando para baixar, instalar e hospedar o servidor unittest (sua execução leva alguns minutos, portanto pode ser um bom momento para uma xícara de café ou chá):

make test-agent-server

A seguir, abra um novo terminal e carregue o aplicativo test-agent no Nightly:

1. Execute esses comandos, se você ainda não completou essa etapa enquanto o comando anterior está sendo executado:

   make DEBUG=1
   /Applications/FirefoxNightly.app/Contents/MacOS/firefox -profile /Users/bob/git/gaia/profile-debug -no-remote

2. Clique no Aplicativo Test Agent na tela inicial

Agora você pode executar todos os testes com o seguinte comando:

make test-agent-test

Testes integrados

Testes integrados envolvem testes de diferentes unidades agrupadas para verificar como elas trabalham em conjunto e esse é o próximo passo após o teste unitário. Os testes de integração no Gaia são conduzidas pelo script marionette escrito em JavaScript e com um servidor baseado em python. Ele pode comunicar-se com o Gecko assim é possível controlar tanto o navegador como o dispositivo Firefox OS e fazê-los interagir um com o outro.

Você pode executar o seguinte comando para iniciar os testes integrados:

make test-integration

Testes de performance

Os testes de performance Gaia dispara o B2G Desktop, que por sua vez lança aplicativos diversas vezes e calcula uma média de tempo de carga dos aplicativos. Depois de executar um teste, o framework também coleta a utilização de memória do aplicativo e do sistema (b2g).

Para executar os testes, você precisa ter o B2G Desktop instalado e executar o seguinte comando:

make test-perf

A média geral será apresentada como um valor de mozPerfDurationsAverage:

"mozPerfDurationsAverage": 225.5

Isso indica a média do tempo de carga de um aplicativo em milisegundos, para um bom resultado o valor deve ser inferior a 1 segundo. Os testes de performance também retorna alguns detalhes da utilização de memória:

{
  "app": {
    "name": "Settings",
    "uss": 16.6,
    "pss": 19.5,
    "rss": 32.9,
    "vsize": 73.3
  },
  "system": {
    "name": "b2g",
    "uss": 50.1,
    "pss": 53.2,
    "rss": 67,
    "vsize": 148.1
  }
},

A regra de ouro para os testes de performance é: "Números baixos são melhores". Abaixo o significado de cada um:

• uss: unique set size
• pss: proportional set size
• rss: resident set size
• vsize: virtual set size

Geralmente vsize >= rss >= pss >= uss . vsize e rss não reflete com precisão a utilização de um processo quando compartilhado com outros. Então, os dois números que irão interessar são: pss and uss.

uss é a memória que é completamente destinada àquele processo. É a quantidade de memória que deve ser liberada se o aplicativo for terminado nesse momento. É um valor chave para ser avaliado.

pss é o tamanho proporcional das bibliotecas compartilhadas do processo. Essa é a quantidade de memória que deve ser liberada se o processo for terminado.