Test Case Selector: Uma Ferramenta para Seleção de Testes

Detalhes bibliográficos
Ano de defesa: 2010
Autor(a) principal: Nereida Dantas Mafra, Juliana
Orientador(a): Manabu Iyoda, Juliano
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://repositorio.ufpe.br/handle/123456789/2326
Resumo: Esta dissertação descreve a ferramenta Test Case Selector (TCS), desenvolvida para auxiliar o usuário a selecionar casos de teste. O Test Case Selector foi desenvolvido no contexto de uma cooperação industrial com a Motorola, onde seleção de testes de regressão não é uma tarefa fácil. Em geral, uma suíte possui milhares de casos de testes e, em um ciclo de regressão, apenas algumas centenas podem ser executados, de acordo com a capacidade dos times de execução. Tal seleção é feita manualmente. O processo de seleção do TCS atribui pontos a cada caso de teste de acordo com 4 critérios de seleção: número de execuções, taxa de falhas por execução, número de defeitos novos encontrados e complexidade do teste. O usuário atribui pesos a cada critério e o TCS calcula uma média ponderada para cada caso de teste. Os casos de teste que mais pontuaram são mais relevantes para o ciclo de regressão. Para avaliar a ferramenta TCS, desenvolvemos uma ferramenta auxiliar de cálculo de métricas e executamos 3 estudos de caso. A métrica M1 calcula a intersecção existente entre as técnicas manual e automática e as métricas M2:1 e M2:2 calculam a efetividade da seleção automática baseado no percentual de casos de teste que acham defeitos e no percentual de defeitos encontrados, respectivamente. O primeiro estudo de caso compara a seleção manual com a seleção automática, o segundo avalia a efetividade da seleção automática realizada pelo TCS e o terceiro ilustra um processo de extração de pesos a partir do histórico de execução. De acordo com os resultados analisados, verificamos que no primeiro estudo de caso, não houve semelhança significativa entre os casos de teste selecionados de forma manual e automática. No segundo estudo de caso, observamos que a efetividade obtida ao considerar pequenos intervalos não foi satisfatória e no terceiro, através do processo de melhoria contínua, conseguimos detectar critérios que foram eficazes no passado e obtivemos resultados mais efetivos. As principais contribuições deste trabalho são: a definição de 4 critérios para seleção de casos de teste caixa-preta baseados em informações históricas e julgamento de especialistas; a implementação de ferramentas para mecanizar a seleção de casos de teste e realizar o cálculo automático das métricas; estudos de caso ilustrando o uso da ferramenta TCS em suítes reais e um processo de seleção de casos de teste baseado em melhoria contínua