Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
| Main Author: | |
|---|---|
| Publication Date: | 2025 |
| Format: | Bachelor thesis |
| Language: | por |
| Source: | Repositório Institucional da UNESP |
| Download full: | https://hdl.handle.net/11449/316149 |
Summary: | Este trabalho propôs uma abordagem para aprimorar a geração e o aumento artificial de dados em imagens histopatológicas utilizando Generative Adversarial Networks (GANs) integradas a técnicas de Explainable AI (XAI). Foram utilizadas arquiteturas de GANs como DCGAN, RaGAN e WGAN-GP, combinadas com métodos de explicabilidade, como Saliency, DeepLIFT e InputXGradient, com o objetivo de incorporar informações interpretáveis no processo de geração de imagens sintéticas. A proposta foi avaliada em dois conjuntos de dados histológicos: um com amostras de câncer colorretal (CR) e outro com imagens de câncer de mama (UCSB). A qualidade das imagens geradas foi avaliada por meio das métricas FID (Frechet Inception Distance) e IS (Inception Score), enquanto o desempenho dos classificadores foi medido pela acurácia de modelos Transformers, incluindo ViT, DeiT e PVT. Os resultados demonstraram que o uso de XAI no treinamento das GANs pode reduzir o FID em até 26% e melhorar a acurácia dos classificadores em até 3,83% em comparação com modelos sem aumento de dados, e até 3,44% em relação ao uso de GANs sem XAI. A combinação DCGAN + Saliency + PVT obteve a maior acurácia (92,24%), seguida de WGAN-GP + InputXGrad + PVT (92,13%). Esses achados destacam o potencial do uso conjunto de XAI e GANs na geração de dados sintéticos mais eficazes, contribuindo para avanços na classificação de imagens médicas em cenários com limitação de dados. |
| id |
UNSP_885c59f7c0ed2e759ccd1fcf542ee4f3 |
|---|---|
| oai_identifier_str |
oai:repositorio.unesp.br:11449/316149 |
| network_acronym_str |
UNSP |
| network_name_str |
Repositório Institucional da UNESP |
| repository_id_str |
2946 |
| spelling |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformersAssociation of generative adversarial networks and explainable artificial intelligence for H&E image analysis using vision transformersRedes neurais (Computação)Inteligência artificial Aplicações médicasProcessamento de imagensHistopatologiaArtificial neural networksArtificial intelligence Medical applicationsImage processingHistopathologyEste trabalho propôs uma abordagem para aprimorar a geração e o aumento artificial de dados em imagens histopatológicas utilizando Generative Adversarial Networks (GANs) integradas a técnicas de Explainable AI (XAI). Foram utilizadas arquiteturas de GANs como DCGAN, RaGAN e WGAN-GP, combinadas com métodos de explicabilidade, como Saliency, DeepLIFT e InputXGradient, com o objetivo de incorporar informações interpretáveis no processo de geração de imagens sintéticas. A proposta foi avaliada em dois conjuntos de dados histológicos: um com amostras de câncer colorretal (CR) e outro com imagens de câncer de mama (UCSB). A qualidade das imagens geradas foi avaliada por meio das métricas FID (Frechet Inception Distance) e IS (Inception Score), enquanto o desempenho dos classificadores foi medido pela acurácia de modelos Transformers, incluindo ViT, DeiT e PVT. Os resultados demonstraram que o uso de XAI no treinamento das GANs pode reduzir o FID em até 26% e melhorar a acurácia dos classificadores em até 3,83% em comparação com modelos sem aumento de dados, e até 3,44% em relação ao uso de GANs sem XAI. A combinação DCGAN + Saliency + PVT obteve a maior acurácia (92,24%), seguida de WGAN-GP + InputXGrad + PVT (92,13%). Esses achados destacam o potencial do uso conjunto de XAI e GANs na geração de dados sintéticos mais eficazes, contribuindo para avanços na classificação de imagens médicas em cenários com limitação de dados.This work proposes an approach to enhance data augmentation and synthetic image generation in histopathological datasets by integrating Generative Adversarial Networks (GANs) with Explainable AI (XAI) techniques. The methodology employs GAN architectures such as DCGAN, RaGAN, and WGAN-GP, combined with interpretability methods such as Saliency, DeepLIFT, and InputXGradient, aiming to embed explanation-driven features into the generator training process. The evaluation was conducted on two medical image datasets: one containing colorectal cancer (CR) samples and another with breast cancer specimens (UCSB). The quality of the generated images was assessed using the FID (Frechet Inception Distance) and IS (Inception Score) metrics, while the classification performance was measured using accuracy scores from Transformer-based models (ViT, DeiT, and PVT), with and without data augmentation. Results showed that integrating XAI into GAN training reduced FID by up to 26% and improved classification accuracy by up to 3.83% compared to models trained without data augmentation, and up to 3.44% over augmentation without XAI. The best performance was achieved by the combination of DCGAN + Saliency + PVT (92.24%), followed by WGAN-GP + InputXGrad + PVT (92.13%). These findings highlight the potential of combining XAI and GANs to generate more effective and interpretable synthetic data, offering relevant contributions to medical image classification in data-limited scenarios.Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)120881/2023-3Universidade Estadual Paulista (Unesp)Neves, Leandro Alves [UNESP]Universidade Estadual Paulista (Unesp)Borgue, Vinicius Augusto Toreli [UNESP]2025-12-04T13:49:36Z2025-11-18info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfBORGUE, Vinicius Augusto Toreli. Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Instituto de Biociências, Letras e Ciências Exatas (IBILCE), Universidade Estadual Paulista (UNESP), São José do Rio Preto, 2025.https://hdl.handle.net/11449/31614984208531554336760009-0005-5855-5126porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2025-12-04T15:29:58Zoai:repositorio.unesp.br:11449/316149Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462025-12-04T15:29:58Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false |
| dc.title.none.fl_str_mv |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers Association of generative adversarial networks and explainable artificial intelligence for H&E image analysis using vision transformers |
| title |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers |
| spellingShingle |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers Borgue, Vinicius Augusto Toreli [UNESP] Redes neurais (Computação) Inteligência artificial Aplicações médicas Processamento de imagens Histopatologia Artificial neural networks Artificial intelligence Medical applications Image processing Histopathology |
| title_short |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers |
| title_full |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers |
| title_fullStr |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers |
| title_full_unstemmed |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers |
| title_sort |
Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers |
| author |
Borgue, Vinicius Augusto Toreli [UNESP] |
| author_facet |
Borgue, Vinicius Augusto Toreli [UNESP] |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Neves, Leandro Alves [UNESP] Universidade Estadual Paulista (Unesp) |
| dc.contributor.author.fl_str_mv |
Borgue, Vinicius Augusto Toreli [UNESP] |
| dc.subject.por.fl_str_mv |
Redes neurais (Computação) Inteligência artificial Aplicações médicas Processamento de imagens Histopatologia Artificial neural networks Artificial intelligence Medical applications Image processing Histopathology |
| topic |
Redes neurais (Computação) Inteligência artificial Aplicações médicas Processamento de imagens Histopatologia Artificial neural networks Artificial intelligence Medical applications Image processing Histopathology |
| description |
Este trabalho propôs uma abordagem para aprimorar a geração e o aumento artificial de dados em imagens histopatológicas utilizando Generative Adversarial Networks (GANs) integradas a técnicas de Explainable AI (XAI). Foram utilizadas arquiteturas de GANs como DCGAN, RaGAN e WGAN-GP, combinadas com métodos de explicabilidade, como Saliency, DeepLIFT e InputXGradient, com o objetivo de incorporar informações interpretáveis no processo de geração de imagens sintéticas. A proposta foi avaliada em dois conjuntos de dados histológicos: um com amostras de câncer colorretal (CR) e outro com imagens de câncer de mama (UCSB). A qualidade das imagens geradas foi avaliada por meio das métricas FID (Frechet Inception Distance) e IS (Inception Score), enquanto o desempenho dos classificadores foi medido pela acurácia de modelos Transformers, incluindo ViT, DeiT e PVT. Os resultados demonstraram que o uso de XAI no treinamento das GANs pode reduzir o FID em até 26% e melhorar a acurácia dos classificadores em até 3,83% em comparação com modelos sem aumento de dados, e até 3,44% em relação ao uso de GANs sem XAI. A combinação DCGAN + Saliency + PVT obteve a maior acurácia (92,24%), seguida de WGAN-GP + InputXGrad + PVT (92,13%). Esses achados destacam o potencial do uso conjunto de XAI e GANs na geração de dados sintéticos mais eficazes, contribuindo para avanços na classificação de imagens médicas em cenários com limitação de dados. |
| publishDate |
2025 |
| dc.date.none.fl_str_mv |
2025-12-04T13:49:36Z 2025-11-18 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| format |
bachelorThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
BORGUE, Vinicius Augusto Toreli. Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Instituto de Biociências, Letras e Ciências Exatas (IBILCE), Universidade Estadual Paulista (UNESP), São José do Rio Preto, 2025. https://hdl.handle.net/11449/316149 8420853155433676 0009-0005-5855-5126 |
| identifier_str_mv |
BORGUE, Vinicius Augusto Toreli. Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Instituto de Biociências, Letras e Ciências Exatas (IBILCE), Universidade Estadual Paulista (UNESP), São José do Rio Preto, 2025. 8420853155433676 0009-0005-5855-5126 |
| url |
https://hdl.handle.net/11449/316149 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Estadual Paulista (Unesp) |
| publisher.none.fl_str_mv |
Universidade Estadual Paulista (Unesp) |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UNESP instname:Universidade Estadual Paulista (UNESP) instacron:UNESP |
| instname_str |
Universidade Estadual Paulista (UNESP) |
| instacron_str |
UNESP |
| institution |
UNESP |
| reponame_str |
Repositório Institucional da UNESP |
| collection |
Repositório Institucional da UNESP |
| repository.name.fl_str_mv |
Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP) |
| repository.mail.fl_str_mv |
repositoriounesp@unesp.br |
| _version_ |
1854949282404106240 |