Basic notions of replication challenges: a view on multiple replications of a highly-configurable systems experiment - Santos, Daniel Amador dos (2020)
A medida em que a Engenharia de Software Experimental cresce em maturidade e número de publicações, mais replicações são necessárias para fornecer um fundamento sólido para as evidências encontradas em pesquisas anteriores. No entanto, em geral, estudos de replicação são escassos, e alguns tópicos sofrem mais que outros. Além disso, os desafios associados á replicação de estudos experimentais não são bem compreendidos. Neste estudo, pretende-se preencher esta lacuna investigando as dificuldades que surgem ao se replicar um experimento. Faz-se uso de uma metodologia inovadora, no qual participantes com experiências distintas desempenham o papel de um grupo de pesquisa tentando replicar um estudo experimental. No total, foram feitas oito replicações. E utilizado o método da comparação constante de teoria fundamentada para análise qualitativa. Observou-se nas replicações que a maioria dos resultados se sustenta ao se comparar com os experimentos originais. Entretanto, os participantes relataram diversas dificuldades, a maioria delas relacionadas a clareza das instruções e a qualidade dos artefatos de replicação. Baseado em nossa experiência, também são fornecidas recomendações, que podem ajudar a mitigar problemas relacionados a replicação de estudos experimentais.