Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony

Detalhes bibliográficos
Autor(a) principal: Costa, Bebeto Alves da
Data de Publicação: 2025
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da Universidade Federal do Ceará (UFC)
Texto Completo: http://repositorio.ufc.br/handle/riufc/80115
Resumo: This work investigates the efficiency of mutation testing as a complement to code coverage in Symfony components, proposing to evaluate the quality of test suites. The research analyzes 31 open source repositories with high coverage (above 80%), applying the Infection tool for mutation testing. Results reveal a moderate correlation (R 2 = 0.386) between code coverage and MSI, showing that coverage alone is not a sufficient indicator of test effectiveness. It was observed that even repositories with high coverage (90-99%) presented significant variations in MSI (50-100%), with eight repositories showing discrepancies greater than 20 percentage points between metrics. Notable cases include "password-hasher" (89.5% coverage and 58% MSI) and "templating" (81.25% coverage and 51% MSI). The analysis of surviving mutants demonstrated a negative correlation with coverage, but with relevant exceptions, such as the "dependencyinjection" repository (91.30% coverage and 2,569 surviving mutants). The study concludes that mutation testing constitutes an effective technique to complement coverage analysis, contributing to continuous improvement of tests in open source projects and highlighting the need for a multifaceted approach in evaluating software quality.
id UFC-7_8e3f09f4a8a404d06e8e0495446280c5
oai_identifier_str oai:repositorio.ufc.br:riufc/80115
network_acronym_str UFC-7
network_name_str Repositório Institucional da Universidade Federal do Ceará (UFC)
repository_id_str
spelling Costa, Bebeto Alves da2025-03-21T11:31:34Z2025-03-21T11:31:34Z2025COSTA, Bebeto Alves da. Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony. 2025. Trabalho de Conclusão de Curso (Graduação em Engenharia de Software) - Campus de Russas, Universidade Federal do Ceará, Russas, 2025.http://repositorio.ufc.br/handle/riufc/80115This work investigates the efficiency of mutation testing as a complement to code coverage in Symfony components, proposing to evaluate the quality of test suites. The research analyzes 31 open source repositories with high coverage (above 80%), applying the Infection tool for mutation testing. Results reveal a moderate correlation (R 2 = 0.386) between code coverage and MSI, showing that coverage alone is not a sufficient indicator of test effectiveness. It was observed that even repositories with high coverage (90-99%) presented significant variations in MSI (50-100%), with eight repositories showing discrepancies greater than 20 percentage points between metrics. Notable cases include "password-hasher" (89.5% coverage and 58% MSI) and "templating" (81.25% coverage and 51% MSI). The analysis of surviving mutants demonstrated a negative correlation with coverage, but with relevant exceptions, such as the "dependencyinjection" repository (91.30% coverage and 2,569 surviving mutants). The study concludes that mutation testing constitutes an effective technique to complement coverage analysis, contributing to continuous improvement of tests in open source projects and highlighting the need for a multifaceted approach in evaluating software quality.Este trabalho investiga a eficiência dos testes de mutação como complemento à cobertura de código em componentes Symfony, propondo avaliar a qualidade dos conjuntos de teste. A pesquisa analisa 31 repositórios de código aberto com alta cobertura (acima de 80%), aplicando a ferramenta Infection para testes de mutação. Os resultados revelam uma correlação moderada (R2 = 0,386) entre a cobertura de código e o Mutation Score Indicator (MSI), evidenciando que a cobertura isoladamente não é um indicador suficiente da eficácia dos testes. Observou-se que mesmo repositórios com alta cobertura (90-99%) apresentaram variações significativas no MSI (50-100%), com oito repositórios mostrando discrepâncias superiores a 20 pontos percentuais entre as métricas. Casos notáveis incluem "password-hasher" (cobertura de 89,5% e MSI de 58%) e "templating" (cobertura de 81,25% e MSI de 51%). A análise dos mutantes sobreviventes demonstrou correlação negativa com a cobertura, mas com exceções relevantes, como o repositório "dependency-injection" (91,30% de cobertura e 2.569 mutantes sobreviventes). O estudo conclui que os testes de mutação constituem uma técnica eficaz para complementar a análise de cobertura, contribuindo para o aperfeiçoamento contínuo dos testes em projetos de código aberto e evidenciando a necessidade de uma abordagem multifacetada na avaliação da qualidade de software.Além da cobertura de código: avaliando a qualidade de testes em componentes Symfonyinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisteste de mutaçãocobertura de códigoqualidade de softwaresoftware de código abertocomponentes Symfonymutation testingcode coveragesoftware qualityopen-source softwareSymfony componentsCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWAREinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal do Ceará (UFC)instname:Universidade Federal do Ceará (UFC)instacron:UFC2025ORIGINAL2025_tcc_bacosta.pdf2025_tcc_bacosta.pdfapplication/pdf2240305http://repositorio.ufc.br/bitstream/riufc/80115/1/2025_tcc_bacosta.pdf82607c46babed88870ead7ccd7488387MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81748http://repositorio.ufc.br/bitstream/riufc/80115/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52riufc/801152025-03-21 08:31:35.155oai:repositorio.ufc.br:riufc/80115Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttp://www.repositorio.ufc.br/ri-oai/requestbu@ufc.br || repositorio@ufc.bropendoar:2025-03-21T11:31:35Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC)false
dc.title.pt_BR.fl_str_mv Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
title Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
spellingShingle Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
Costa, Bebeto Alves da
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
teste de mutação
cobertura de código
qualidade de software
software de código aberto
componentes Symfony
mutation testing
code coverage
software quality
open-source software
Symfony components
title_short Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
title_full Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
title_fullStr Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
title_full_unstemmed Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
title_sort Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
author Costa, Bebeto Alves da
author_facet Costa, Bebeto Alves da
author_role author
dc.contributor.author.fl_str_mv Costa, Bebeto Alves da
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
teste de mutação
cobertura de código
qualidade de software
software de código aberto
componentes Symfony
mutation testing
code coverage
software quality
open-source software
Symfony components
dc.subject.ptbr.pt_BR.fl_str_mv teste de mutação
cobertura de código
qualidade de software
software de código aberto
componentes Symfony
dc.subject.en.pt_BR.fl_str_mv mutation testing
code coverage
software quality
open-source software
Symfony components
description This work investigates the efficiency of mutation testing as a complement to code coverage in Symfony components, proposing to evaluate the quality of test suites. The research analyzes 31 open source repositories with high coverage (above 80%), applying the Infection tool for mutation testing. Results reveal a moderate correlation (R 2 = 0.386) between code coverage and MSI, showing that coverage alone is not a sufficient indicator of test effectiveness. It was observed that even repositories with high coverage (90-99%) presented significant variations in MSI (50-100%), with eight repositories showing discrepancies greater than 20 percentage points between metrics. Notable cases include "password-hasher" (89.5% coverage and 58% MSI) and "templating" (81.25% coverage and 51% MSI). The analysis of surviving mutants demonstrated a negative correlation with coverage, but with relevant exceptions, such as the "dependencyinjection" repository (91.30% coverage and 2,569 surviving mutants). The study concludes that mutation testing constitutes an effective technique to complement coverage analysis, contributing to continuous improvement of tests in open source projects and highlighting the need for a multifaceted approach in evaluating software quality.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-03-21T11:31:34Z
dc.date.available.fl_str_mv 2025-03-21T11:31:34Z
dc.date.issued.fl_str_mv 2025
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv COSTA, Bebeto Alves da. Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony. 2025. Trabalho de Conclusão de Curso (Graduação em Engenharia de Software) - Campus de Russas, Universidade Federal do Ceará, Russas, 2025.
dc.identifier.uri.fl_str_mv http://repositorio.ufc.br/handle/riufc/80115
identifier_str_mv COSTA, Bebeto Alves da. Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony. 2025. Trabalho de Conclusão de Curso (Graduação em Engenharia de Software) - Campus de Russas, Universidade Federal do Ceará, Russas, 2025.
url http://repositorio.ufc.br/handle/riufc/80115
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal do Ceará (UFC)
instname:Universidade Federal do Ceará (UFC)
instacron:UFC
instname_str Universidade Federal do Ceará (UFC)
instacron_str UFC
institution UFC
reponame_str Repositório Institucional da Universidade Federal do Ceará (UFC)
collection Repositório Institucional da Universidade Federal do Ceará (UFC)
bitstream.url.fl_str_mv http://repositorio.ufc.br/bitstream/riufc/80115/1/2025_tcc_bacosta.pdf
http://repositorio.ufc.br/bitstream/riufc/80115/2/license.txt
bitstream.checksum.fl_str_mv 82607c46babed88870ead7ccd7488387
8a4605be74aa9ea9d79846c1fba20a33
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC)
repository.mail.fl_str_mv bu@ufc.br || repositorio@ufc.br
_version_ 1847792730706542592