Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais

Detalhes bibliográficos
Autor(a) principal: FRAGOSO, Gabriel Arnaud de Melo
Data de Publicação: 2025
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPE
dARK ID: ark:/64986/001300002hf8s
Texto Completo: https://repositorio.ufpe.br/handle/123456789/64857
Resumo: Este trabalho propõe uma abordagem inovadora para aumentar a interpretabilidade de redes neurais convolucionais (CNNs) na tarefa de detecção de fissuras em estruturas de concreto, integrando algoritmos de explicabilidade baseados em visualização, como o Grad-CAM, com técnicas de segmentação não supervisionada, a exemplo do algoritmo K-means. A metodo- logia emprega aprendizado por transferência com arquiteturas consagradas (VGG16, VGG19 e ResNet) alcançando acurácia superior a 99% nos conjuntos de treinamento e teste. Foram avaliadas estratégias de explicabilidade fundamentadas tanto em perturbação do espaço de entrada quanto nos pesos internos das camadas convolucionais. Os resultados indicam que a combinação entre Grad-CAM e K-means aprimora não apenas a acurácia na detecção de fis- suras, mas também a transparência do processo decisório, aspecto crítico para aplicações reais em monitoramento estrutural. Para mensurar objetivamente o grau de explicabilidade dos mo- delos, foi proposta uma nova métrica baseada na sobreposição entre as máscaras geradas pelos mapas de ativação das técnicas de explicabilidade e os segmentos resultantes da clusterização, permitindo avaliar a coerência espacial entre as regiões de interesse destacadas pelo modelo e as áreas efetivamente associadas às fissuras. Embora o desempenho da segmentação tenha sido majoritariamente satisfatório, foram identificadas limitações em imagens com alta com- plexidade visual. A seleção automatizada de camadas mais relevantes para análise foi validada por especialistas em engenharia civil, reforçando a viabilidade prática da proposta. Ressalta-se o ineditismo da abordagem com foco explícito em explicabilidade no contexto da classificação de fissuras em concreto, com código-fonte disponibilizado abertamente no GitHub. Como des- dobramento natural, recomenda-se a investigação de técnicas de segmentação mais robustas e a ampliação do conjunto de dados para abranger maior diversidade de padrões fissurais.
id UFPE_1b5954c20bc8a1a98f6d20daa979e879
oai_identifier_str oai:repositorio.ufpe.br:123456789/64857
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionaisRedes Neurais Convolucionais (CNN)Inteligência Artificial Explicável (XAI)Engenharia civil assistida por inteligência artificialEste trabalho propõe uma abordagem inovadora para aumentar a interpretabilidade de redes neurais convolucionais (CNNs) na tarefa de detecção de fissuras em estruturas de concreto, integrando algoritmos de explicabilidade baseados em visualização, como o Grad-CAM, com técnicas de segmentação não supervisionada, a exemplo do algoritmo K-means. A metodo- logia emprega aprendizado por transferência com arquiteturas consagradas (VGG16, VGG19 e ResNet) alcançando acurácia superior a 99% nos conjuntos de treinamento e teste. Foram avaliadas estratégias de explicabilidade fundamentadas tanto em perturbação do espaço de entrada quanto nos pesos internos das camadas convolucionais. Os resultados indicam que a combinação entre Grad-CAM e K-means aprimora não apenas a acurácia na detecção de fis- suras, mas também a transparência do processo decisório, aspecto crítico para aplicações reais em monitoramento estrutural. Para mensurar objetivamente o grau de explicabilidade dos mo- delos, foi proposta uma nova métrica baseada na sobreposição entre as máscaras geradas pelos mapas de ativação das técnicas de explicabilidade e os segmentos resultantes da clusterização, permitindo avaliar a coerência espacial entre as regiões de interesse destacadas pelo modelo e as áreas efetivamente associadas às fissuras. Embora o desempenho da segmentação tenha sido majoritariamente satisfatório, foram identificadas limitações em imagens com alta com- plexidade visual. A seleção automatizada de camadas mais relevantes para análise foi validada por especialistas em engenharia civil, reforçando a viabilidade prática da proposta. Ressalta-se o ineditismo da abordagem com foco explícito em explicabilidade no contexto da classificação de fissuras em concreto, com código-fonte disponibilizado abertamente no GitHub. Como des- dobramento natural, recomenda-se a investigação de técnicas de segmentação mais robustas e a ampliação do conjunto de dados para abranger maior diversidade de padrões fissurais.This study proposes an innovative approach to enhance the interpretability of Convolutional Neural Networks (CNNs) in the task of crack detection in concrete structures, by integrat- ing visualization-based explainability algorithms, such as Grad-CAM, with unsupervised image segmentation techniques, exemplified by the K-means clustering algorithm. The methodology employs transfer learning using well-established architectures (VGG16, VGG19, and ResNet), achieving accuracy rates above 99% on both training and testing datasets. Explainability strategies were evaluated based on both input perturbation methods and the internal weights of convolutional layers. The results indicate that the combination of Grad-CAM and K-means not only improves the accuracy of crack detection but also enhances the transparency of the decision-making process—an essential aspect for real-world applications in structural health monitoring. To objectively quantify model explainability, a novel metric was proposed based on the overlap between the activation maps generated by explainability techniques and the image segments obtained through clustering. This metric enables the assessment of spatial coherence between the model-highlighted regions of interest and the areas actually associated with cracks. Although the segmentation performance was generally satisfactory, limitations were observed in cases involving images with high visual complexity. The automatic selection of the most relevant layers for analysis was validated by civil engineering experts, reinforcing the practical applicability of the proposed method. This work is noteworthy for being one of the first public contributions focused on explainability in the context of concrete crack clas- sification, with its source code openly available on GitHub. For future work, the adoption of more robust segmentation techniques and the expansion of the dataset to include a greater variety of crack patterns are recommended.Universidade Federal de PernambucoUFPEBrasilPrograma de Pos Graduacao em Ciencia da ComputacaoLUDERMIR, Teresa Bernardahttp://lattes.cnpq.br/7691650682985246http://lattes.cnpq.br/6321179168854922FRAGOSO, Gabriel Arnaud de Melo2025-08-06T12:31:29Z2025-08-06T12:31:29Z2025-07-17info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfFRAGOSO, Gabriel Arnaud de Melo. Inteligência artificial explicável para detecção de fissuras em concreto armado: uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais. 2025. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2025.https://repositorio.ufpe.br/handle/123456789/64857ark:/64986/001300002hf8sporhttps://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPE2025-08-10T17:59:00Zoai:repositorio.ufpe.br:123456789/64857Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212025-08-10T17:59Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.none.fl_str_mv Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
spellingShingle Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
FRAGOSO, Gabriel Arnaud de Melo
Redes Neurais Convolucionais (CNN)
Inteligência Artificial Explicável (XAI)
Engenharia civil assistida por inteligência artificial
title_short Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title_full Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title_fullStr Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title_full_unstemmed Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title_sort Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
author FRAGOSO, Gabriel Arnaud de Melo
author_facet FRAGOSO, Gabriel Arnaud de Melo
author_role author
dc.contributor.none.fl_str_mv LUDERMIR, Teresa Bernarda
http://lattes.cnpq.br/7691650682985246
http://lattes.cnpq.br/6321179168854922
dc.contributor.author.fl_str_mv FRAGOSO, Gabriel Arnaud de Melo
dc.subject.por.fl_str_mv Redes Neurais Convolucionais (CNN)
Inteligência Artificial Explicável (XAI)
Engenharia civil assistida por inteligência artificial
topic Redes Neurais Convolucionais (CNN)
Inteligência Artificial Explicável (XAI)
Engenharia civil assistida por inteligência artificial
description Este trabalho propõe uma abordagem inovadora para aumentar a interpretabilidade de redes neurais convolucionais (CNNs) na tarefa de detecção de fissuras em estruturas de concreto, integrando algoritmos de explicabilidade baseados em visualização, como o Grad-CAM, com técnicas de segmentação não supervisionada, a exemplo do algoritmo K-means. A metodo- logia emprega aprendizado por transferência com arquiteturas consagradas (VGG16, VGG19 e ResNet) alcançando acurácia superior a 99% nos conjuntos de treinamento e teste. Foram avaliadas estratégias de explicabilidade fundamentadas tanto em perturbação do espaço de entrada quanto nos pesos internos das camadas convolucionais. Os resultados indicam que a combinação entre Grad-CAM e K-means aprimora não apenas a acurácia na detecção de fis- suras, mas também a transparência do processo decisório, aspecto crítico para aplicações reais em monitoramento estrutural. Para mensurar objetivamente o grau de explicabilidade dos mo- delos, foi proposta uma nova métrica baseada na sobreposição entre as máscaras geradas pelos mapas de ativação das técnicas de explicabilidade e os segmentos resultantes da clusterização, permitindo avaliar a coerência espacial entre as regiões de interesse destacadas pelo modelo e as áreas efetivamente associadas às fissuras. Embora o desempenho da segmentação tenha sido majoritariamente satisfatório, foram identificadas limitações em imagens com alta com- plexidade visual. A seleção automatizada de camadas mais relevantes para análise foi validada por especialistas em engenharia civil, reforçando a viabilidade prática da proposta. Ressalta-se o ineditismo da abordagem com foco explícito em explicabilidade no contexto da classificação de fissuras em concreto, com código-fonte disponibilizado abertamente no GitHub. Como des- dobramento natural, recomenda-se a investigação de técnicas de segmentação mais robustas e a ampliação do conjunto de dados para abranger maior diversidade de padrões fissurais.
publishDate 2025
dc.date.none.fl_str_mv 2025-08-06T12:31:29Z
2025-08-06T12:31:29Z
2025-07-17
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv FRAGOSO, Gabriel Arnaud de Melo. Inteligência artificial explicável para detecção de fissuras em concreto armado: uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais. 2025. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2025.
https://repositorio.ufpe.br/handle/123456789/64857
dc.identifier.dark.fl_str_mv ark:/64986/001300002hf8s
identifier_str_mv FRAGOSO, Gabriel Arnaud de Melo. Inteligência artificial explicável para detecção de fissuras em concreto armado: uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais. 2025. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2025.
ark:/64986/001300002hf8s
url https://repositorio.ufpe.br/handle/123456789/64857
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
UFPE
Brasil
Programa de Pos Graduacao em Ciencia da Computacao
publisher.none.fl_str_mv Universidade Federal de Pernambuco
UFPE
Brasil
Programa de Pos Graduacao em Ciencia da Computacao
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1846272448980320256