Basic notions of replication challenges: a view on multiple replications of a highly-configurable systems experiment
| Ano de defesa: | 2020 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | , |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | eng |
| Instituição de defesa: |
Universidade Federal da Bahia
Instituto de Matemática e Estatística Departamento de Ciência da Computação |
| Programa de Pós-Graduação: |
em Ciência da Computação
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Brasil
|
| Palavras-chave em Português: | |
| Área do conhecimento CNPq: | |
| Link de acesso: | http://repositorio.ufba.br/ri/handle/ri/33407 |
Resumo: | A medida em que a Engenharia de Software Experimental cresce em maturidade e número de publicações, mais replicações são necessárias para fornecer um fundamento sólido para as evidências encontradas em pesquisas anteriores. No entanto, em geral, estudos de replicação são escassos, e alguns tópicos sofrem mais que outros. Além disso, os desafios associados á replicação de estudos experimentais não são bem compreendidos. Neste estudo, pretende-se preencher esta lacuna investigando as dificuldades que surgem ao se replicar um experimento. Faz-se uso de uma metodologia inovadora, no qual participantes com experiências distintas desempenham o papel de um grupo de pesquisa tentando replicar um estudo experimental. No total, foram feitas oito replicações. E utilizado o método da comparação constante de teoria fundamentada para análise qualitativa. Observou-se nas replicações que a maioria dos resultados se sustenta ao se comparar com os experimentos originais. Entretanto, os participantes relataram diversas dificuldades, a maioria delas relacionadas a clareza das instruções e a qualidade dos artefatos de replicação. Baseado em nossa experiência, também são fornecidas recomendações, que podem ajudar a mitigar problemas relacionados a replicação de estudos experimentais. |