Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers

Bibliographic Details
Main Author: Borgue, Vinicius Augusto Toreli [UNESP]
Publication Date: 2025
Format: Bachelor thesis
Language: por
Source: Repositório Institucional da UNESP
Download full: https://hdl.handle.net/11449/316149
Summary: Este trabalho propôs uma abordagem para aprimorar a geração e o aumento artificial de dados em imagens histopatológicas utilizando Generative Adversarial Networks (GANs) integradas a técnicas de Explainable AI (XAI). Foram utilizadas arquiteturas de GANs como DCGAN, RaGAN e WGAN-GP, combinadas com métodos de explicabilidade, como Saliency, DeepLIFT e InputXGradient, com o objetivo de incorporar informações interpretáveis no processo de geração de imagens sintéticas. A proposta foi avaliada em dois conjuntos de dados histológicos: um com amostras de câncer colorretal (CR) e outro com imagens de câncer de mama (UCSB). A qualidade das imagens geradas foi avaliada por meio das métricas FID (Frechet Inception Distance) e IS (Inception Score), enquanto o desempenho dos classificadores foi medido pela acurácia de modelos Transformers, incluindo ViT, DeiT e PVT. Os resultados demonstraram que o uso de XAI no treinamento das GANs pode reduzir o FID em até 26% e melhorar a acurácia dos classificadores em até 3,83% em comparação com modelos sem aumento de dados, e até 3,44% em relação ao uso de GANs sem XAI. A combinação DCGAN + Saliency + PVT obteve a maior acurácia (92,24%), seguida de WGAN-GP + InputXGrad + PVT (92,13%). Esses achados destacam o potencial do uso conjunto de XAI e GANs na geração de dados sintéticos mais eficazes, contribuindo para avanços na classificação de imagens médicas em cenários com limitação de dados.
id UNSP_885c59f7c0ed2e759ccd1fcf542ee4f3
oai_identifier_str oai:repositorio.unesp.br:11449/316149
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str 2946
spelling Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformersAssociation of generative adversarial networks and explainable artificial intelligence for H&E image analysis using vision transformersRedes neurais (Computação)Inteligência artificial Aplicações médicasProcessamento de imagensHistopatologiaArtificial neural networksArtificial intelligence Medical applicationsImage processingHistopathologyEste trabalho propôs uma abordagem para aprimorar a geração e o aumento artificial de dados em imagens histopatológicas utilizando Generative Adversarial Networks (GANs) integradas a técnicas de Explainable AI (XAI). Foram utilizadas arquiteturas de GANs como DCGAN, RaGAN e WGAN-GP, combinadas com métodos de explicabilidade, como Saliency, DeepLIFT e InputXGradient, com o objetivo de incorporar informações interpretáveis no processo de geração de imagens sintéticas. A proposta foi avaliada em dois conjuntos de dados histológicos: um com amostras de câncer colorretal (CR) e outro com imagens de câncer de mama (UCSB). A qualidade das imagens geradas foi avaliada por meio das métricas FID (Frechet Inception Distance) e IS (Inception Score), enquanto o desempenho dos classificadores foi medido pela acurácia de modelos Transformers, incluindo ViT, DeiT e PVT. Os resultados demonstraram que o uso de XAI no treinamento das GANs pode reduzir o FID em até 26% e melhorar a acurácia dos classificadores em até 3,83% em comparação com modelos sem aumento de dados, e até 3,44% em relação ao uso de GANs sem XAI. A combinação DCGAN + Saliency + PVT obteve a maior acurácia (92,24%), seguida de WGAN-GP + InputXGrad + PVT (92,13%). Esses achados destacam o potencial do uso conjunto de XAI e GANs na geração de dados sintéticos mais eficazes, contribuindo para avanços na classificação de imagens médicas em cenários com limitação de dados.This work proposes an approach to enhance data augmentation and synthetic image generation in histopathological datasets by integrating Generative Adversarial Networks (GANs) with Explainable AI (XAI) techniques. The methodology employs GAN architectures such as DCGAN, RaGAN, and WGAN-GP, combined with interpretability methods such as Saliency, DeepLIFT, and InputXGradient, aiming to embed explanation-driven features into the generator training process. The evaluation was conducted on two medical image datasets: one containing colorectal cancer (CR) samples and another with breast cancer specimens (UCSB). The quality of the generated images was assessed using the FID (Frechet Inception Distance) and IS (Inception Score) metrics, while the classification performance was measured using accuracy scores from Transformer-based models (ViT, DeiT, and PVT), with and without data augmentation. Results showed that integrating XAI into GAN training reduced FID by up to 26% and improved classification accuracy by up to 3.83% compared to models trained without data augmentation, and up to 3.44% over augmentation without XAI. The best performance was achieved by the combination of DCGAN + Saliency + PVT (92.24%), followed by WGAN-GP + InputXGrad + PVT (92.13%). These findings highlight the potential of combining XAI and GANs to generate more effective and interpretable synthetic data, offering relevant contributions to medical image classification in data-limited scenarios.Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)120881/2023-3Universidade Estadual Paulista (Unesp)Neves, Leandro Alves [UNESP]Universidade Estadual Paulista (Unesp)Borgue, Vinicius Augusto Toreli [UNESP]2025-12-04T13:49:36Z2025-11-18info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfBORGUE, Vinicius Augusto Toreli. Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Instituto de Biociências, Letras e Ciências Exatas (IBILCE), Universidade Estadual Paulista (UNESP), São José do Rio Preto, 2025.https://hdl.handle.net/11449/31614984208531554336760009-0005-5855-5126porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2025-12-04T15:29:58Zoai:repositorio.unesp.br:11449/316149Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462025-12-04T15:29:58Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
Association of generative adversarial networks and explainable artificial intelligence for H&E image analysis using vision transformers
title Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
spellingShingle Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
Borgue, Vinicius Augusto Toreli [UNESP]
Redes neurais (Computação)
Inteligência artificial Aplicações médicas
Processamento de imagens
Histopatologia
Artificial neural networks
Artificial intelligence Medical applications
Image processing
Histopathology
title_short Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
title_full Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
title_fullStr Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
title_full_unstemmed Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
title_sort Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
author Borgue, Vinicius Augusto Toreli [UNESP]
author_facet Borgue, Vinicius Augusto Toreli [UNESP]
author_role author
dc.contributor.none.fl_str_mv Neves, Leandro Alves [UNESP]
Universidade Estadual Paulista (Unesp)
dc.contributor.author.fl_str_mv Borgue, Vinicius Augusto Toreli [UNESP]
dc.subject.por.fl_str_mv Redes neurais (Computação)
Inteligência artificial Aplicações médicas
Processamento de imagens
Histopatologia
Artificial neural networks
Artificial intelligence Medical applications
Image processing
Histopathology
topic Redes neurais (Computação)
Inteligência artificial Aplicações médicas
Processamento de imagens
Histopatologia
Artificial neural networks
Artificial intelligence Medical applications
Image processing
Histopathology
description Este trabalho propôs uma abordagem para aprimorar a geração e o aumento artificial de dados em imagens histopatológicas utilizando Generative Adversarial Networks (GANs) integradas a técnicas de Explainable AI (XAI). Foram utilizadas arquiteturas de GANs como DCGAN, RaGAN e WGAN-GP, combinadas com métodos de explicabilidade, como Saliency, DeepLIFT e InputXGradient, com o objetivo de incorporar informações interpretáveis no processo de geração de imagens sintéticas. A proposta foi avaliada em dois conjuntos de dados histológicos: um com amostras de câncer colorretal (CR) e outro com imagens de câncer de mama (UCSB). A qualidade das imagens geradas foi avaliada por meio das métricas FID (Frechet Inception Distance) e IS (Inception Score), enquanto o desempenho dos classificadores foi medido pela acurácia de modelos Transformers, incluindo ViT, DeiT e PVT. Os resultados demonstraram que o uso de XAI no treinamento das GANs pode reduzir o FID em até 26% e melhorar a acurácia dos classificadores em até 3,83% em comparação com modelos sem aumento de dados, e até 3,44% em relação ao uso de GANs sem XAI. A combinação DCGAN + Saliency + PVT obteve a maior acurácia (92,24%), seguida de WGAN-GP + InputXGrad + PVT (92,13%). Esses achados destacam o potencial do uso conjunto de XAI e GANs na geração de dados sintéticos mais eficazes, contribuindo para avanços na classificação de imagens médicas em cenários com limitação de dados.
publishDate 2025
dc.date.none.fl_str_mv 2025-12-04T13:49:36Z
2025-11-18
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv BORGUE, Vinicius Augusto Toreli. Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Instituto de Biociências, Letras e Ciências Exatas (IBILCE), Universidade Estadual Paulista (UNESP), São José do Rio Preto, 2025.
https://hdl.handle.net/11449/316149
8420853155433676
0009-0005-5855-5126
identifier_str_mv BORGUE, Vinicius Augusto Toreli. Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Instituto de Biociências, Letras e Ciências Exatas (IBILCE), Universidade Estadual Paulista (UNESP), São José do Rio Preto, 2025.
8420853155433676
0009-0005-5855-5126
url https://hdl.handle.net/11449/316149
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1854949282404106240