Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System

Bibliographic Details
Main Author: Rocha, Simão Almeida
Publication Date: 2022
Format: Master thesis
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/10316/114121
Summary: Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_a4c7807200efb7e956fe7f3553c1229c
oai_identifier_str oai:estudogeral.uc.pt:10316/114121
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation SystemNeuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation SystemSeguimento de múltiplos objectosDeteção de objectosRedes Neuronais profundasCâmera NeuromórficasVisão baseada em eventosMulti-Object TrackingObject DetectionDeep Neural NetworkNeuromorphic CameraEvent-based VisionDissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaO aparecimento da aprendizagem profunda e o crescimento do poder computacional culminou no avanço da resolução de vários problemas em diferentes áreas, como por exemplo o MOT. Esta área sempre foi alvo de grande interesse em visão por computador e com diversas aplicações em diferentes campos, como por exemplo videovigilância, entretinimento e condução autónoma. Durante muito anos os investigadores investiram tempo e esforço para melhorar a tarefa de seguimento de objetos usando câmeras RBG. Contudo, estas câmeras estão sempre limitadas devido à taxa de captura de informação e pelas condições de iluminação. Posto isto, nos últimos anos as câmeras neuromórficas têm sido exploradas pela comunidade científica para ultrapassar as limitações existentes através da capacidade de apenas transmitir mudanças de intensidade, ao nível do pixel, geradas pelo movimento na cena, resultando num conjunto de eventos com baixa latência, baixo consumo e uma dinâmica muito alta. Consequentemente, estes atributos podem gerar um grande contributo no seguimento de veículos. Para alcançar o objetivo deste trabalho, o problema é tratado pela fórmula de seguimento-por-deteção, onde o problema de deteção é avaliado por uma rede neuronal recorrente em duas tipologias: CNN e SSCN. Paralelamente, com o mesmo objetivo, irá ser avaliada uma rede com tipologia SNN com a arquitetura Tiny-YOLO. A fase de seguimento é alcançada usando um algoritmo online de seguimento de múltiplos alvos, SORT, e pela sua evolução, DeepSort, através da adição de um modelo profundo para extrair descritores de aparência. Relativamente aos resultados, a nossa implementação teve o segundo melhor resultado comparado com o estado da arte no dataset GEN1, que apenas é superado pelos autores do próprio dataset. O melhor resultado obtido é de 40% de mAP com uma rede de 24M de parâmetros enquanto a nossa rede obteve 31% com apenas 2.8M de parâmetros. Além disso, apresentamos resultados como base para trabalhos futuros sobre os datasets UA-DETRAC e BMVC para a deteção de objetos e seguimento de múltiplos veículos.The arrival of deep learning and the increasing computational power has culminated at the advance of many problems in different fields, such as MOT. This area has always been a field of great interest in Computer vision with many applications in different fields, like surveillance, entertainment, and autonomous vehicles. For many years researchers have dedicated time and effort to improve the task of tracking objects in many scenes using RGB cameras. However, RGB cameras are always limited due to the rate of capture information and light conditions. Therefore, in the past years Neuromorphic Cameras have been explored by the scientific community to surpass the limitations through the ability to only transmit local pixel-level intensity changes generated by movement in a scene at the moment of occurrence, resulting in an information-rich stream of events with low latency, low power consumption and a very high dynamic range. Consequently, these attributes can generate great contributions in the tracking of vehicles for ITS. To achieve the purpose of this work, the problem is treated with detection-Based tracking formula, where the detection problem is evaluated by a recurrent detection neural network in two typologies, CNN and SSCN. In addition, while working on the same objective, it will be validated an SNN typology with a Tiny-YOLO architecture. The tracking phase is accomplished using an online multi-target tracking algorithm, SORT, and its evolution, DeepSort, through the addiction of a deep model for extracting appearance descriptors. The lack of labelled data is a real problem to validate the algorithms for detection and tracking with Neuromorphic Cameras. To solve this problem a python software tool v2e is used to synthesize a realistic dynamic vision sensor event camera data from UA-DETRAC and BMVC datasets. Regarding the results of this study, our network has advanced to the second best result in the existent results of state-of-art in the GEN1 dataset. The best result obtains 40% in mAP with a network of 24M parameters, while our network has only 2.8M parameters and obtains 31% in mAP. Furthermore, we present a baseline for future works on UA-DETRAC and BMVC dataset for object detection and multi-vehicle tracking.2022-09-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/114121https://hdl.handle.net/10316/114121TID:203186516engRocha, Simão Almeidainfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-03-20T23:01:03Zoai:estudogeral.uc.pt:10316/114121Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T06:06:57.463003Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
title Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
spellingShingle Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
Rocha, Simão Almeida
Seguimento de múltiplos objectos
Deteção de objectos
Redes Neuronais profundas
Câmera Neuromórficas
Visão baseada em eventos
Multi-Object Tracking
Object Detection
Deep Neural Network
Neuromorphic Camera
Event-based Vision
title_short Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
title_full Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
title_fullStr Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
title_full_unstemmed Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
title_sort Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System
author Rocha, Simão Almeida
author_facet Rocha, Simão Almeida
author_role author
dc.contributor.author.fl_str_mv Rocha, Simão Almeida
dc.subject.por.fl_str_mv Seguimento de múltiplos objectos
Deteção de objectos
Redes Neuronais profundas
Câmera Neuromórficas
Visão baseada em eventos
Multi-Object Tracking
Object Detection
Deep Neural Network
Neuromorphic Camera
Event-based Vision
topic Seguimento de múltiplos objectos
Deteção de objectos
Redes Neuronais profundas
Câmera Neuromórficas
Visão baseada em eventos
Multi-Object Tracking
Object Detection
Deep Neural Network
Neuromorphic Camera
Event-based Vision
description Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2022
dc.date.none.fl_str_mv 2022-09-27
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/114121
https://hdl.handle.net/10316/114121
TID:203186516
url https://hdl.handle.net/10316/114121
identifier_str_mv TID:203186516
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602581231828992

Similar Items