Depth Estimation using Light-Field Cameras

Detalhes bibliográficos
Autor(a) principal: Custodio, Joao Pedro Barata Lourenco
Data de Publicação: 2014
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Texto Completo: https://hdl.handle.net/10316/40446
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra
id RCAP_6b2ac75ed92f5d03b206aaa9c45fb9c3
oai_identifier_str oai:estudogeral.uc.pt:10316/40446
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Depth Estimation using Light-Field CamerasCâmaras Plenópticascampo de luzRaytrixLytroRANSACCOMSACestimação de profundidadeprofundidade virtualPlenoptic cameraslight- eldRaytrixLytroRANSACCOMSACdepth estimationvirtual depthDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de CoimbraPlenoptic cameras or light field cameras are a recent type of imaging devices that are starting to regain some popularity. These cameras are able to acquire the plenoptic function (4D light field) and, consequently, able to output the depth of a scene, by making use of the redundancy created by the multi-view geometry, where a single 3D point is imaged several times. Despite the attention given in the literature to standard plenoptic cameras, like Lytro, due to their simplicity and lower price, we did our work based on results obtained from a multi-focus plenoptic camera (Raytrix, in our case), due to their quality and higher resolution images. In this master thesis, we present an automatic method to estimate the virtual depth of a scene. Since the capture is done using a multi-focus plenoptic camera, we are working with multi-view geometry and lens with different focal lengths, and we can use that to back trace the rays in order to obtain the depth. We start by finding salient points and their respective correspondences using a scaled SAD (sum of absolute differences) method. In order to perform the referred back trace, obtaining robust results, we developed a RANSAC-like method, which we call COMSAC (Complete Sample Consensus). It is an iterative method that back trace the ligth rays in order to estimate the depth, eliminating the outliers. Finally, and since the depth map obtained is sparse, we developed a way to make it dense, by random growing. Since we used a publicly available dataset from Raytrix, comparisons between our results and the manufacturers’ ones are also presented. A paper was also submitted to 3DV 2014 (International Conference on 3D Vision), a conference on three-dimensional vision.Cˆamaras plen´opticas ou cˆamaras de campo de luz s˜ao dispositivos que est˜ao a voltar a ter alguma popularidade. Este tipo de cˆamaras s˜ao capazes de adquirir a fun¸c˜ao plen´optica (campo de luz 4D) e, consequentemente, capazes de estimar a profundidade de uma cena, usando a redundˆancia criada pela geometria ”multi-view”, onde um ponto 3D ´e projetado na imagem diversas vezes. Apesar de ter sido dada uma maior aten¸c˜ao na literatura `as cˆamaras plen´opticas standard, como s˜ao exemplo as Lytro, visto que s˜ao mais simples e com um pre¸co muito mais interessante, o nosso trabalho foi desenvolvido tendo por base os resultados obtidos por uma cˆamara plen´optica ”multi-focus” (uma Raytrix, no nosso caso), visto que a qualidade ´e superior e consegue obter imagens com maior resolu¸c˜ao. Nesta tese de mestrado, apresentamos um m´etodo autom´atico para estimar a profundidade de uma cena. Visto que a captura da cena ´e efetuada com uma cˆamara plen´optica ”multi-focus”, estamos a trabalhar com geometria ”multi-view” e com lentes que tˆem distˆancias focais diferentes, podendo ser usado esse facto para efetuar tra¸co de raios de forma a obter a profundidade. Come¸camos por encontrar pontos salientes e as suas respetivas correspondˆencias usando um valor escalado de SAD (soma das diferen¸cas absolutas). Por forma a efetuar o tra¸co de raios, obtendo resultados mais robustos, desenvolvemos um m´etodo estilo RANSAC, ao qual cham´amos COMSAC (Complete Sample Consensus). E um m´etodo iterativo que efetua o tra¸co de raios de ´ forma a estimar a profundidade, eliminando resultados indesejados. Finalmente, e visto que o mapa de profundidade obtido ´e esparso, desenvolvemos um m´etodo para o tornar denso, com recurso a um m´etodo de crescimento aleat´orio. Por forma a testar os algoritmos desenvolvidos, utiliz´amos um conjunto de dados abertos ao p´ublico da Raytrix e apresentamos tamb´em a compara¸c˜ao entre os nossos resultados e os resultados obtidos pela Raytrix. Foi tamb´em submetida um artigo para a 3DV (Conferˆencia Internacional em Vis˜ao 3D), uma conferˆencia em vis˜ao tri-dimensional.2014-09-11info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/40446https://hdl.handle.net/10316/40446TID:201673479engCustodio, Joao Pedro Barata Lourencoinfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2022-02-11T11:41:27Zoai:estudogeral.uc.pt:10316/40446Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T05:19:09.020516Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Depth Estimation using Light-Field Cameras
title Depth Estimation using Light-Field Cameras
spellingShingle Depth Estimation using Light-Field Cameras
Custodio, Joao Pedro Barata Lourenco
Câmaras Plenópticas
campo de luz
Raytrix
Lytro
RANSAC
COMSAC
estimação de profundidade
profundidade virtual
Plenoptic cameras
light- eld
Raytrix
Lytro
RANSAC
COMSAC
depth estimation
virtual depth
title_short Depth Estimation using Light-Field Cameras
title_full Depth Estimation using Light-Field Cameras
title_fullStr Depth Estimation using Light-Field Cameras
title_full_unstemmed Depth Estimation using Light-Field Cameras
title_sort Depth Estimation using Light-Field Cameras
author Custodio, Joao Pedro Barata Lourenco
author_facet Custodio, Joao Pedro Barata Lourenco
author_role author
dc.contributor.author.fl_str_mv Custodio, Joao Pedro Barata Lourenco
dc.subject.por.fl_str_mv Câmaras Plenópticas
campo de luz
Raytrix
Lytro
RANSAC
COMSAC
estimação de profundidade
profundidade virtual
Plenoptic cameras
light- eld
Raytrix
Lytro
RANSAC
COMSAC
depth estimation
virtual depth
topic Câmaras Plenópticas
campo de luz
Raytrix
Lytro
RANSAC
COMSAC
estimação de profundidade
profundidade virtual
Plenoptic cameras
light- eld
Raytrix
Lytro
RANSAC
COMSAC
depth estimation
virtual depth
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra
publishDate 2014
dc.date.none.fl_str_mv 2014-09-11
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/40446
https://hdl.handle.net/10316/40446
TID:201673479
url https://hdl.handle.net/10316/40446
identifier_str_mv TID:201673479
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602317591511040

Registros relacionados