Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony
| Autor(a) principal: | |
|---|---|
| Data de Publicação: | 2025 |
| Tipo de documento: | Trabalho de conclusão de curso |
| Idioma: | por |
| Título da fonte: | Repositório Institucional da Universidade Federal do Ceará (UFC) |
| Texto Completo: | http://repositorio.ufc.br/handle/riufc/80115 |
Resumo: | This work investigates the efficiency of mutation testing as a complement to code coverage in Symfony components, proposing to evaluate the quality of test suites. The research analyzes 31 open source repositories with high coverage (above 80%), applying the Infection tool for mutation testing. Results reveal a moderate correlation (R 2 = 0.386) between code coverage and MSI, showing that coverage alone is not a sufficient indicator of test effectiveness. It was observed that even repositories with high coverage (90-99%) presented significant variations in MSI (50-100%), with eight repositories showing discrepancies greater than 20 percentage points between metrics. Notable cases include "password-hasher" (89.5% coverage and 58% MSI) and "templating" (81.25% coverage and 51% MSI). The analysis of surviving mutants demonstrated a negative correlation with coverage, but with relevant exceptions, such as the "dependencyinjection" repository (91.30% coverage and 2,569 surviving mutants). The study concludes that mutation testing constitutes an effective technique to complement coverage analysis, contributing to continuous improvement of tests in open source projects and highlighting the need for a multifaceted approach in evaluating software quality. |
| id |
UFC-7_8e3f09f4a8a404d06e8e0495446280c5 |
|---|---|
| oai_identifier_str |
oai:repositorio.ufc.br:riufc/80115 |
| network_acronym_str |
UFC-7 |
| network_name_str |
Repositório Institucional da Universidade Federal do Ceará (UFC) |
| repository_id_str |
|
| spelling |
Costa, Bebeto Alves da2025-03-21T11:31:34Z2025-03-21T11:31:34Z2025COSTA, Bebeto Alves da. Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony. 2025. Trabalho de Conclusão de Curso (Graduação em Engenharia de Software) - Campus de Russas, Universidade Federal do Ceará, Russas, 2025.http://repositorio.ufc.br/handle/riufc/80115This work investigates the efficiency of mutation testing as a complement to code coverage in Symfony components, proposing to evaluate the quality of test suites. The research analyzes 31 open source repositories with high coverage (above 80%), applying the Infection tool for mutation testing. Results reveal a moderate correlation (R 2 = 0.386) between code coverage and MSI, showing that coverage alone is not a sufficient indicator of test effectiveness. It was observed that even repositories with high coverage (90-99%) presented significant variations in MSI (50-100%), with eight repositories showing discrepancies greater than 20 percentage points between metrics. Notable cases include "password-hasher" (89.5% coverage and 58% MSI) and "templating" (81.25% coverage and 51% MSI). The analysis of surviving mutants demonstrated a negative correlation with coverage, but with relevant exceptions, such as the "dependencyinjection" repository (91.30% coverage and 2,569 surviving mutants). The study concludes that mutation testing constitutes an effective technique to complement coverage analysis, contributing to continuous improvement of tests in open source projects and highlighting the need for a multifaceted approach in evaluating software quality.Este trabalho investiga a eficiência dos testes de mutação como complemento à cobertura de código em componentes Symfony, propondo avaliar a qualidade dos conjuntos de teste. A pesquisa analisa 31 repositórios de código aberto com alta cobertura (acima de 80%), aplicando a ferramenta Infection para testes de mutação. Os resultados revelam uma correlação moderada (R2 = 0,386) entre a cobertura de código e o Mutation Score Indicator (MSI), evidenciando que a cobertura isoladamente não é um indicador suficiente da eficácia dos testes. Observou-se que mesmo repositórios com alta cobertura (90-99%) apresentaram variações significativas no MSI (50-100%), com oito repositórios mostrando discrepâncias superiores a 20 pontos percentuais entre as métricas. Casos notáveis incluem "password-hasher" (cobertura de 89,5% e MSI de 58%) e "templating" (cobertura de 81,25% e MSI de 51%). A análise dos mutantes sobreviventes demonstrou correlação negativa com a cobertura, mas com exceções relevantes, como o repositório "dependency-injection" (91,30% de cobertura e 2.569 mutantes sobreviventes). O estudo conclui que os testes de mutação constituem uma técnica eficaz para complementar a análise de cobertura, contribuindo para o aperfeiçoamento contínuo dos testes em projetos de código aberto e evidenciando a necessidade de uma abordagem multifacetada na avaliação da qualidade de software.Além da cobertura de código: avaliando a qualidade de testes em componentes Symfonyinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisteste de mutaçãocobertura de códigoqualidade de softwaresoftware de código abertocomponentes Symfonymutation testingcode coveragesoftware qualityopen-source softwareSymfony componentsCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWAREinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal do Ceará (UFC)instname:Universidade Federal do Ceará (UFC)instacron:UFC2025ORIGINAL2025_tcc_bacosta.pdf2025_tcc_bacosta.pdfapplication/pdf2240305http://repositorio.ufc.br/bitstream/riufc/80115/1/2025_tcc_bacosta.pdf82607c46babed88870ead7ccd7488387MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81748http://repositorio.ufc.br/bitstream/riufc/80115/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52riufc/801152025-03-21 08:31:35.155oai:repositorio.ufc.br:riufc/80115Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttp://www.repositorio.ufc.br/ri-oai/requestbu@ufc.br || repositorio@ufc.bropendoar:2025-03-21T11:31:35Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC)false |
| dc.title.pt_BR.fl_str_mv |
Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony |
| title |
Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony |
| spellingShingle |
Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony Costa, Bebeto Alves da CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE teste de mutação cobertura de código qualidade de software software de código aberto componentes Symfony mutation testing code coverage software quality open-source software Symfony components |
| title_short |
Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony |
| title_full |
Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony |
| title_fullStr |
Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony |
| title_full_unstemmed |
Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony |
| title_sort |
Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony |
| author |
Costa, Bebeto Alves da |
| author_facet |
Costa, Bebeto Alves da |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Costa, Bebeto Alves da |
| dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE |
| topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE teste de mutação cobertura de código qualidade de software software de código aberto componentes Symfony mutation testing code coverage software quality open-source software Symfony components |
| dc.subject.ptbr.pt_BR.fl_str_mv |
teste de mutação cobertura de código qualidade de software software de código aberto componentes Symfony |
| dc.subject.en.pt_BR.fl_str_mv |
mutation testing code coverage software quality open-source software Symfony components |
| description |
This work investigates the efficiency of mutation testing as a complement to code coverage in Symfony components, proposing to evaluate the quality of test suites. The research analyzes 31 open source repositories with high coverage (above 80%), applying the Infection tool for mutation testing. Results reveal a moderate correlation (R 2 = 0.386) between code coverage and MSI, showing that coverage alone is not a sufficient indicator of test effectiveness. It was observed that even repositories with high coverage (90-99%) presented significant variations in MSI (50-100%), with eight repositories showing discrepancies greater than 20 percentage points between metrics. Notable cases include "password-hasher" (89.5% coverage and 58% MSI) and "templating" (81.25% coverage and 51% MSI). The analysis of surviving mutants demonstrated a negative correlation with coverage, but with relevant exceptions, such as the "dependencyinjection" repository (91.30% coverage and 2,569 surviving mutants). The study concludes that mutation testing constitutes an effective technique to complement coverage analysis, contributing to continuous improvement of tests in open source projects and highlighting the need for a multifaceted approach in evaluating software quality. |
| publishDate |
2025 |
| dc.date.accessioned.fl_str_mv |
2025-03-21T11:31:34Z |
| dc.date.available.fl_str_mv |
2025-03-21T11:31:34Z |
| dc.date.issued.fl_str_mv |
2025 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| format |
bachelorThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
COSTA, Bebeto Alves da. Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony. 2025. Trabalho de Conclusão de Curso (Graduação em Engenharia de Software) - Campus de Russas, Universidade Federal do Ceará, Russas, 2025. |
| dc.identifier.uri.fl_str_mv |
http://repositorio.ufc.br/handle/riufc/80115 |
| identifier_str_mv |
COSTA, Bebeto Alves da. Além da cobertura de código: avaliando a qualidade de testes em componentes Symfony. 2025. Trabalho de Conclusão de Curso (Graduação em Engenharia de Software) - Campus de Russas, Universidade Federal do Ceará, Russas, 2025. |
| url |
http://repositorio.ufc.br/handle/riufc/80115 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal do Ceará (UFC) instname:Universidade Federal do Ceará (UFC) instacron:UFC |
| instname_str |
Universidade Federal do Ceará (UFC) |
| instacron_str |
UFC |
| institution |
UFC |
| reponame_str |
Repositório Institucional da Universidade Federal do Ceará (UFC) |
| collection |
Repositório Institucional da Universidade Federal do Ceará (UFC) |
| bitstream.url.fl_str_mv |
http://repositorio.ufc.br/bitstream/riufc/80115/1/2025_tcc_bacosta.pdf http://repositorio.ufc.br/bitstream/riufc/80115/2/license.txt |
| bitstream.checksum.fl_str_mv |
82607c46babed88870ead7ccd7488387 8a4605be74aa9ea9d79846c1fba20a33 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC) |
| repository.mail.fl_str_mv |
bu@ufc.br || repositorio@ufc.br |
| _version_ |
1847792730706542592 |