Deep learning & remote sensing : pushing the frontiers in image segmentation

Detalhes bibliográficos
Autor(a) principal: Carvalho, Osmar Luiz Ferreira de
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UnB
Texto Completo: https://repositorio.unb.br/handle/10482/45324
Resumo: Dissertação (Mestrado em Informática) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, Brasília, 2022.
id UNB_6037dc7f74d49f7b0e364fb7989cb9ff
oai_identifier_str oai:repositorio.unb.br:10482/45324
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Deep learning & remote sensing : pushing the frontiers in image segmentationSegmentação semânticaSegmentação de instânciasSegmentação panóticaSensoriamento remotoAprendizagem profundaDissertação (Mestrado em Informática) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, Brasília, 2022.A segmentação de imagens visa simplificar o entendimento de imagens digitais e métodos de aprendizado profundo usando redes neurais convolucionais permitem a exploração de diferentes tarefas (e.g., segmentação semântica, instância e panóptica). A segmentação semântica atribui uma classe a cada pixel em uma imagem, a segmentação de instância classifica objetos a nível de pixel com um identificador exclusivo para cada alvo e a segmentação panóptica combina instâncias com diferentes planos de fundo. Os dados de sensoriamento remoto são muito adequados para desenvolver novos algoritmos. No entanto, algumas particularidades impedem que o sensoriamento remoto com imagens orbitais e aéreas cresça quando comparado às imagens tradicionais (e.g., fotos de celulares): (1) as imagens são muito extensas, (2) apresenta características diferentes (e.g., número de canais e formato de imagem), (3) um grande número de etapas de préprocessamento e pós-processamento (e.g., extração de quadros e classificação de cenas grandes) e (4) os softwares para rotulagem e treinamento de modelos não são compatíveis. Esta dissertação visa avançar nas três principais categorias de segmentação de imagens. Dentro do domínio de segmentação de instâncias, propusemos três experimentos. Primeiro, aprimoramos a abordagem de segmentação de instância baseada em caixa para classificar cenas grandes. Em segundo lugar, criamos um método sem caixas delimitadoras para alcançar resultados de segmentação de instâncias usando modelos de segmentação semântica em um cenário com objetos esparsos. Terceiro, aprimoramos o método anterior para cenas aglomeradas e desenvolvemos o primeiro estudo considerando aprendizado semissupervisionado usando sensoriamento remoto e dados GIS. Em seguida, no domínio da segmentação panóptica, apresentamos o primeiro conjunto de dados de segmentação panóptica de sensoriamento remoto e dispomos de uma metodologia para conversão de dados GIS no formato COCO. Como nosso primeiro estudo considerou imagens RGB, estendemos essa abordagem para dados multiespectrais. Por fim, melhoramos o método box-free inicialmente projetado para segmentação de instâncias para a tarefa de segmentação panóptica. Esta dissertação analisou vários métodos de segmentação e tipos de imagens, e as soluções desenvolvidas permitem a exploração de novas tarefas , a simplificação da rotulagem de dados e uma forma simplificada de obter previsões de instância e panópticas usando modelos simples de segmentação semântica.Image segmentation aims to simplify the understanding of digital images. Deep learning-based methods using convolutional neural networks have been game-changing, allowing the exploration of different tasks (e.g., semantic, instance, and panoptic segmentation). Semantic segmentation assigns a class to every pixel in an image, instance segmentation classifies objects at a pixel level with a unique identifier for each target, and panoptic segmentation combines instancelevel predictions with different backgrounds. Remote sensing data largely benefits from those methods, being very suitable for developing new DL algorithms and creating solutions using top-view images. However, some peculiarities prevent remote sensing using orbital and aerial imagery from growing when compared to traditional ground-level images (e.g., camera photos): (1) The images are extensive, (2) it presents different characteristics (e.g., number of channels and image format), (3) a high number of pre-processes and post-processes steps (e.g., extracting patches and classifying large scenes), and (4) most open software for labeling and deep learning applications are not friendly to remote sensing due to the aforementioned reasons. This dissertation aimed to improve all three main categories of image segmentation. Within the instance segmentation domain, we proposed three experiments. First, we enhanced the box-based instance segmentation approach for classifying large scenes, allowing practical pipelines to be implemented. Second, we created a bounding-box free method to reach instance segmentation results by using semantic segmentation models in a scenario with sparse objects. Third, we improved the previous method for crowded scenes and developed the first study considering semi-supervised learning using remote sensing and GIS data. Subsequently, in the panoptic segmentation domain, we presented the first remote sensing panoptic segmentation dataset containing fourteen classes and disposed of software and methodology for converting GIS data into the panoptic segmentation format. Since our first study considered RGB images, we extended our approach to multispectral data. Finally, we leveraged the box-free method initially designed for instance segmentation to the panoptic segmentation task. This dissertation analyzed various segmentation methods and image types, and the developed solutions enable the exploration of new tasks (such as panoptic segmentation), the simplification of labeling data (using the proposed semi-supervised learning procedure), and a simplified way to obtain instance and panoptic predictions using simple semantic segmentation models.Instituto de Ciências Exatas (IE)Departamento de Ciência da Computação (IE CIC)Programa de Pós-Graduação em InformáticaBorges, Díbio Leandroosmar.carvalho@aluno.unb.brCarvalho, Osmar Luiz Ferreira de2022-12-16T21:46:23Z2022-12-16T21:46:23Z2022-12-162022-09-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfCARVALHO, Osmar Luiz Ferreira de. Deep learning & remote sensing: pushing the frontiers in image segmentation. 2022. xviii, 146 f., il. Dissertação (Mestrado em Informática) — Universidade de Brasília, Brasília, 2022.https://repositorio.unb.br/handle/10482/45324engA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2025-03-19T15:52:27Zoai:repositorio.unb.br:10482/45324Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2025-03-19T15:52:27Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Deep learning & remote sensing : pushing the frontiers in image segmentation
title Deep learning & remote sensing : pushing the frontiers in image segmentation
spellingShingle Deep learning & remote sensing : pushing the frontiers in image segmentation
Carvalho, Osmar Luiz Ferreira de
Segmentação semântica
Segmentação de instâncias
Segmentação panótica
Sensoriamento remoto
Aprendizagem profunda
title_short Deep learning & remote sensing : pushing the frontiers in image segmentation
title_full Deep learning & remote sensing : pushing the frontiers in image segmentation
title_fullStr Deep learning & remote sensing : pushing the frontiers in image segmentation
title_full_unstemmed Deep learning & remote sensing : pushing the frontiers in image segmentation
title_sort Deep learning & remote sensing : pushing the frontiers in image segmentation
author Carvalho, Osmar Luiz Ferreira de
author_facet Carvalho, Osmar Luiz Ferreira de
author_role author
dc.contributor.none.fl_str_mv Borges, Díbio Leandro
osmar.carvalho@aluno.unb.br
dc.contributor.author.fl_str_mv Carvalho, Osmar Luiz Ferreira de
dc.subject.por.fl_str_mv Segmentação semântica
Segmentação de instâncias
Segmentação panótica
Sensoriamento remoto
Aprendizagem profunda
topic Segmentação semântica
Segmentação de instâncias
Segmentação panótica
Sensoriamento remoto
Aprendizagem profunda
description Dissertação (Mestrado em Informática) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, Brasília, 2022.
publishDate 2022
dc.date.none.fl_str_mv 2022-12-16T21:46:23Z
2022-12-16T21:46:23Z
2022-12-16
2022-09-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv CARVALHO, Osmar Luiz Ferreira de. Deep learning & remote sensing: pushing the frontiers in image segmentation. 2022. xviii, 146 f., il. Dissertação (Mestrado em Informática) — Universidade de Brasília, Brasília, 2022.
https://repositorio.unb.br/handle/10482/45324
identifier_str_mv CARVALHO, Osmar Luiz Ferreira de. Deep learning & remote sensing: pushing the frontiers in image segmentation. 2022. xviii, 146 f., il. Dissertação (Mestrado em Informática) — Universidade de Brasília, Brasília, 2022.
url https://repositorio.unb.br/handle/10482/45324
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1839083334406242304

Registros relacionados