Software architecture quality evaluation using Large Language Models

• Ano de defesa: 2024
• Autor(a) principal: Oliveira, Glauber Queiroz de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Palavras-chave em Português: Software - Controle de qualidade; Engenharia de software; Desenvolvimento de software
• Link de acesso: https://biblioteca.sophia.com.br/terminalri/9575/acervo/detalhe/591290

Esta dissertação explora a viabilidade e os desafios do uso de Large Language Models (LLMs) para avaliar automaticamente a qualidade dos diagramas de arquitetura de software. Propomos uma metodologia baseada em cinco critérios principais de avaliação — clareza, consistência, completude, precisão e nível de detalhes — e os operacionalizamos em prompts estruturados adequados para avaliações baseadas em LLM. A abordagem é testada empiricamente em dois conjuntos de dados distintos: diagramas de arquitetura selecionados de artigos do SBES 2024 Tools Track (formais e revisados por pares) e projetos de código aberto no GitHub (informais e orientados pela comunidade). Resultados experimentais usando o modelo ChatGPT-4o da OpenAI sugerem que os LLMs podem fornecer feedbacks valiosos e detectar inconsistências diagramáticas, muitas vezes ecoando os insights de um especialista humano. No entanto, limitações como omissões potenciais de elementos cruciais do diagrama, saídas não determinísticas e escolhas de design sensíveis ao contexto indicam que a supervisão humana continua indispensável. Para orientar pesquisadores e profissionais, propomos ainda estratégias práticas para preparação de dados, construção rápida e interpretação de resultados, visando maximizar a confiabilidade e a utilidade das avaliações arquitetônicas baseadas em LLM. Palavras-chave: Arquitetura de Software. Large Language Models (LLMs). Avaliação Automatizada de Arquitetura