Software architecture quality evaluation using Large Language Models - Oliveira, Glauber Queiroz de (2024)
Esta dissertação explora a viabilidade e os desafios do uso de Large Language Models (LLMs) para avaliar automaticamente a qualidade dos diagramas de arquitetura de software. Propomos uma metodologia baseada em cinco critérios principais de avaliação — clareza, consistência, completude, precisão e nível de detalhes — e os operacionalizamos em prompts estruturados adequados para avaliações baseadas em LLM. A abordagem é testada empiricamente em dois conjuntos de dados distintos: diagramas de arquitetura selecionados de artigos do SBES 2024 Tools Track (formais e revisados por pares) e projetos de código aberto no GitHub (informais e orientados pela comunidade). Resultados experimentais usando o modelo ChatGPT-4o da OpenAI sugerem que os LLMs podem fornecer feedbacks valiosos e detectar inconsistências diagramáticas, muitas vezes ecoando os insights de um especialista humano. No entanto, limitações como omissões potenciais de elementos cruciais do diagrama, saídas não determinísticas e escolhas de design sensíveis ao contexto indicam que a supervisão humana continua indispensável. Para orientar pesquisadores e profissionais, propomos ainda estratégias práticas para preparação de dados, construção rápida e interpretação de resultados, visando maximizar a confiabilidade e a utilidade das avaliações arquitetônicas baseadas em LLM. Palavras-chave: Arquitetura de Software. Large Language Models (LLMs). Avaliação Automatizada de Arquitetura