Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments

Detalhes bibliográficos
Autor(a) principal: Narciso, David Gonçalves
Data de Publicação: 2022
Idioma: eng
Título da fonte: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Texto Completo: http://hdl.handle.net/10348/11551
Resumo: A formação de profissionais utilizando tecnologias de Realidade Virtual (RV) tem sido uma área de interesse desde o início da própria RV. Nos últimos anos, essa área viu uma nova onda de investimentos globais, o que impulsionou a criação de dispositivos de RV que proporcionam uma experiência cada vez mais próxima da realidade. Com o avanço dessas tecnologias, torna-se fundamental entender a capacidade atual da RV na formação de profissionais. Na literatura encontramos diversos estudos que abordam a formação de profissionais com o que hoje se conhece como RV imersiva, uma forma mais complexa de RV que combina dispositivos de RV com o objetivo de isolar o utilizador do mundo real e causar um alto nível de presença (a sensação de ”estar lá”, no ambiente apresentado). No entanto, embora todos partilhem o mesmo objetivo, o de treinar profissionais, pouca atenção é dada ao uso de estímulos multissensoriais e ao estudo de como cada estímulo sensorial pode influenciar a eficácia do treino. Esta tese consiste em estudar a influência que estímulos multissensoriais têm na obtenção de um Ambiente Virtual (AV) de treino capaz de produzir uma resposta fisiológica semelhante à exibida no Ambiente Real (AR). Para desenvolver esta tese, tivemos que definir qual a resposta fisiológica a analisar e o caso de estudo onde iríamos aplicar a nossa pesquisa. Como resposta fisiológica, decidimos usar a Variabilidade Cardíaca (VC). O nosso objetivo com a análise da VC é obter o stresse fisiológico dos utilizadores. Quanto ao caso de estudo, optamos pelo treino de bombeiros. Esta decisão foi motivada pela natureza estressante da formação de bombeiros em geral e pela existência de um protocolo de colaboração entre o laboratório MASSIVE, onde decorreu esta tese, e uma corporação de bombeiros local. Esta colaboração foi alcançada por meio do projeto de investigação Perceptual Equivalence in Virtual Reality For authEntiC Training (PERFECT – POCI-01- 0145-FEDER-028618), no qual esta tese também foi integrada. Para apoiar o desenvolvimento da tese, também tivemos que definir como criaríamos o AV de treino e como usaríamos a resposta fisiológica para estudar a influência dos estímulos sensoriais. Para obter o AV de treino, decidimos desenvolver um simulador de RV imersivo e multissensorial. Com esse simulador, poderíamos criar e personalizar o AV de treino não apenas para bombeiros, mas para qualquer profissão onde a RV possa ser aplicada. Quanto à resposta fisiológica, visto que o nosso objetivo é obter uma resposta semelhante à do AR, decidimos propor um método inovador que avalia a eficácia do treino proporcionado pelo AV a partir de sua capacidade de invocar uma resposta fisiológica de estresse semelhante à do AR. Ao longo da tese, vários estudos com utilizadores foram realizados. O objetivo de tais estudos foi principalmente a avaliação da eficácia do AV projetado para treinar bombeiros e a avaliação do impacto de diferentes estímulos sensoriais na eficácia desse AV. Num primeiro estudo com utilizadores, cumprimos um dos objetivos desta tese, a proposição e validação de uma metodologia inovadora para avaliação da eficácia de AV’s de treino. Esta metodologia é baseada na comparação da resposta fisiológica dos participantes entre um Ambiente Real (AR) e uma réplica virtual desse ambiente. Além da metodologia, foi realizada uma avaliação preliminar da eficácia do AV de treino de bombeiros. Essa avaliação permitiu testar e validar a metodologia, mas também mostrou que a eficácia do VE era significativamente diferente da do AR. Levando em consideração os resultados e o feedback recebido desse primeiro estudo preliminar, desenvolvemos uma versão nova e aprimorada do AV. Usando este AV aprimorado, um novo estudo com utilizadores foi realizado. Os resultados deste estudo foram positivos, embora a eficácia do AV não tenha sido a mesma do AR, os resultados levaram-nos a concluir que o AV foi eficaz na tarefa de treinar bombeiros e que poderia ser utilizado para complementar a formação de bombeiros. Para cumprir outro objetivo desta tese, um terceiro e último estudo com utilizadores foi realizado. O objetivo deste estudo foi avaliar o impacto individual e combinado de estímulos sensoriais na resposta do utilizador e, como tal, na eficácia do AV. Os resultados deste estudo indicaram que o uso do mesmo Equipamento de Proteção Individual (EPI) que o AR tem impacto positivo na eficácia do AV, e que, quando possível, um AV deve proporcionar uma experiência multissensorial, que combine diferentes estímulos sensoriais, de forma coerente, a fim de maximizar a eficácia do AV de treino.
id RCAP_f7f39d0fbce8834e1908ecce606ce3db
oai_identifier_str oai:repositorio.utad.pt:10348/11551
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environmentsComputer graphicsVirtual realityA formação de profissionais utilizando tecnologias de Realidade Virtual (RV) tem sido uma área de interesse desde o início da própria RV. Nos últimos anos, essa área viu uma nova onda de investimentos globais, o que impulsionou a criação de dispositivos de RV que proporcionam uma experiência cada vez mais próxima da realidade. Com o avanço dessas tecnologias, torna-se fundamental entender a capacidade atual da RV na formação de profissionais. Na literatura encontramos diversos estudos que abordam a formação de profissionais com o que hoje se conhece como RV imersiva, uma forma mais complexa de RV que combina dispositivos de RV com o objetivo de isolar o utilizador do mundo real e causar um alto nível de presença (a sensação de ”estar lá”, no ambiente apresentado). No entanto, embora todos partilhem o mesmo objetivo, o de treinar profissionais, pouca atenção é dada ao uso de estímulos multissensoriais e ao estudo de como cada estímulo sensorial pode influenciar a eficácia do treino. Esta tese consiste em estudar a influência que estímulos multissensoriais têm na obtenção de um Ambiente Virtual (AV) de treino capaz de produzir uma resposta fisiológica semelhante à exibida no Ambiente Real (AR). Para desenvolver esta tese, tivemos que definir qual a resposta fisiológica a analisar e o caso de estudo onde iríamos aplicar a nossa pesquisa. Como resposta fisiológica, decidimos usar a Variabilidade Cardíaca (VC). O nosso objetivo com a análise da VC é obter o stresse fisiológico dos utilizadores. Quanto ao caso de estudo, optamos pelo treino de bombeiros. Esta decisão foi motivada pela natureza estressante da formação de bombeiros em geral e pela existência de um protocolo de colaboração entre o laboratório MASSIVE, onde decorreu esta tese, e uma corporação de bombeiros local. Esta colaboração foi alcançada por meio do projeto de investigação Perceptual Equivalence in Virtual Reality For authEntiC Training (PERFECT – POCI-01- 0145-FEDER-028618), no qual esta tese também foi integrada. Para apoiar o desenvolvimento da tese, também tivemos que definir como criaríamos o AV de treino e como usaríamos a resposta fisiológica para estudar a influência dos estímulos sensoriais. Para obter o AV de treino, decidimos desenvolver um simulador de RV imersivo e multissensorial. Com esse simulador, poderíamos criar e personalizar o AV de treino não apenas para bombeiros, mas para qualquer profissão onde a RV possa ser aplicada. Quanto à resposta fisiológica, visto que o nosso objetivo é obter uma resposta semelhante à do AR, decidimos propor um método inovador que avalia a eficácia do treino proporcionado pelo AV a partir de sua capacidade de invocar uma resposta fisiológica de estresse semelhante à do AR. Ao longo da tese, vários estudos com utilizadores foram realizados. O objetivo de tais estudos foi principalmente a avaliação da eficácia do AV projetado para treinar bombeiros e a avaliação do impacto de diferentes estímulos sensoriais na eficácia desse AV. Num primeiro estudo com utilizadores, cumprimos um dos objetivos desta tese, a proposição e validação de uma metodologia inovadora para avaliação da eficácia de AV’s de treino. Esta metodologia é baseada na comparação da resposta fisiológica dos participantes entre um Ambiente Real (AR) e uma réplica virtual desse ambiente. Além da metodologia, foi realizada uma avaliação preliminar da eficácia do AV de treino de bombeiros. Essa avaliação permitiu testar e validar a metodologia, mas também mostrou que a eficácia do VE era significativamente diferente da do AR. Levando em consideração os resultados e o feedback recebido desse primeiro estudo preliminar, desenvolvemos uma versão nova e aprimorada do AV. Usando este AV aprimorado, um novo estudo com utilizadores foi realizado. Os resultados deste estudo foram positivos, embora a eficácia do AV não tenha sido a mesma do AR, os resultados levaram-nos a concluir que o AV foi eficaz na tarefa de treinar bombeiros e que poderia ser utilizado para complementar a formação de bombeiros. Para cumprir outro objetivo desta tese, um terceiro e último estudo com utilizadores foi realizado. O objetivo deste estudo foi avaliar o impacto individual e combinado de estímulos sensoriais na resposta do utilizador e, como tal, na eficácia do AV. Os resultados deste estudo indicaram que o uso do mesmo Equipamento de Proteção Individual (EPI) que o AR tem impacto positivo na eficácia do AV, e que, quando possível, um AV deve proporcionar uma experiência multissensorial, que combine diferentes estímulos sensoriais, de forma coerente, a fim de maximizar a eficácia do AV de treino.The training of professionals using Virtual Reality (VR) technologieshas been an area of interest since the beginning of VR itself. In recent years, this area has seen a new wave of global investment, which has driven the creation of VR devices that deliver an experience that is ever closer to reality. With the advancement of these technologies, it becomes crucial to understand the current capacity of VR in training professionals. In the literature, we find several studies that address the training of professionals with what is currently known as immersive VR, a more complex form of VR that combines VR devices intending to isolate the user from the real world and cause a high level of presence (the feeling of ”being there”, in the displayed environment). However, although they all share the same goal, that of training professionals, little attention is paid to the use of multisensory stimuli and to the study of how each sensory stimulus can influence the effectiveness of training. This thesis consists of studying the influence that multisensory stimuli have in obtaining a training Virtual Environment (VE) that can produce a physiological response similar to that exhibited in the Real Environment (RE). To develop this thesis, we had to define which physiological response to analyze and which case study we would apply our research. We decided to use Heart Rate Variability (HRV) as a physiological response. Our goal with HRV analysis is to obtain the physiological stress of users. As for the case study, we opted for firefighter training. This decision was motivated by the stressful nature of general firefighter training and the existence of a collaboration protocol between the MASSIVE laboratory, in which this thesis took place, and a local firefighter’s corporation. This collaboration was achieved through the research project Perceptual Equivalence in Virtual Reality For authEntiC Training (PERFECT - POCI-01-0145-FEDER-028618), in which this thesis was also integrated. To support the development of the thesis, we also had to define how we would create the training VE and how we would use the physiological response to study the influence of sensory stimuli. We decided to develop an immersive and multisensory VR simulator to obtain the training VE. With such a simulator, we could create and customize a training VE for firefighters and any profession where VR can be applied. As for the physiological response, since our goal is to obtain a response similar to that of the RE, we decided to propose an innovative method that evaluates the efficacy of the training provided by the VE based on it’s ability to invoke a physiological response of stress similar to that of the RE. Throughout the thesis, several user studies were carried out. The aim of such studies was mainly the evaluation of the effectiveness of VE designed to train firefighters and the evaluation of the impact of different sensory stimuli on the effectiveness of that VE. In a first user study, we fulfilled one goal of this thesis, the proposal and validation of an innovative methodology for evaluating the effectiveness of training VE’s. This methodology is based on comparing participants’ physiological responses between a Real Environment (RE) and a virtual replica of that environment. In addition to the methodology, we performed a preliminary evaluation of the effectiveness of the firefighter training VE. This evaluation allowed us to test and validate the methodology but also showed that the VE’s effectiveness was significantly different from that of the RE. Considering the results and feedback from this first preliminary study, we developed a new and improved version of the VE. Using this improved VE, a new user study was performed. The results of such were positive; although the effectiveness of the VE was not the same as the RE, the results led us to conclude that the VE was effective in the task of training firefighters and that it could be used to complement the training of firefighters. To fulfill another goal of this thesis, a third and final user study was performed. This study aimed to assess the individual and combined impact of sensory stimuli on the user’s response and, as such, on the effectiveness of the VE. The results of this study indicated that the use of the same Personal Protective Equipment (PPE) as the RE has a positive impact on the effectiveness of the VE, and that, when possible, a VE should deliver a multisensory experience, one that combines different sensory stimuli, coherently, to maximize the effectiveness of the training VE.2023-05-04T10:57:18Z2022-12-02T00:00:00Z2022-12-02doctoral thesisinfo:eu-repo/semantics/publishedVersionapplication/pdfapplication/pdfapplication/pdfhttp://hdl.handle.net/10348/11551engNarciso, David Gonçalvesinfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2025-01-12T02:03:23Zoai:repositorio.utad.pt:10348/11551Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T12:40:20.751690Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments
title Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments
spellingShingle Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments
Narciso, David Gonçalves
Computer graphics
Virtual reality
title_short Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments
title_full Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments
title_fullStr Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments
title_full_unstemmed Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments
title_sort Realistic multisensory virtual reality simulator for firefighter training: comparing the physiological response of trainees in real and virtual environments
author Narciso, David Gonçalves
author_facet Narciso, David Gonçalves
author_role author
dc.contributor.author.fl_str_mv Narciso, David Gonçalves
dc.subject.por.fl_str_mv Computer graphics
Virtual reality
topic Computer graphics
Virtual reality
description A formação de profissionais utilizando tecnologias de Realidade Virtual (RV) tem sido uma área de interesse desde o início da própria RV. Nos últimos anos, essa área viu uma nova onda de investimentos globais, o que impulsionou a criação de dispositivos de RV que proporcionam uma experiência cada vez mais próxima da realidade. Com o avanço dessas tecnologias, torna-se fundamental entender a capacidade atual da RV na formação de profissionais. Na literatura encontramos diversos estudos que abordam a formação de profissionais com o que hoje se conhece como RV imersiva, uma forma mais complexa de RV que combina dispositivos de RV com o objetivo de isolar o utilizador do mundo real e causar um alto nível de presença (a sensação de ”estar lá”, no ambiente apresentado). No entanto, embora todos partilhem o mesmo objetivo, o de treinar profissionais, pouca atenção é dada ao uso de estímulos multissensoriais e ao estudo de como cada estímulo sensorial pode influenciar a eficácia do treino. Esta tese consiste em estudar a influência que estímulos multissensoriais têm na obtenção de um Ambiente Virtual (AV) de treino capaz de produzir uma resposta fisiológica semelhante à exibida no Ambiente Real (AR). Para desenvolver esta tese, tivemos que definir qual a resposta fisiológica a analisar e o caso de estudo onde iríamos aplicar a nossa pesquisa. Como resposta fisiológica, decidimos usar a Variabilidade Cardíaca (VC). O nosso objetivo com a análise da VC é obter o stresse fisiológico dos utilizadores. Quanto ao caso de estudo, optamos pelo treino de bombeiros. Esta decisão foi motivada pela natureza estressante da formação de bombeiros em geral e pela existência de um protocolo de colaboração entre o laboratório MASSIVE, onde decorreu esta tese, e uma corporação de bombeiros local. Esta colaboração foi alcançada por meio do projeto de investigação Perceptual Equivalence in Virtual Reality For authEntiC Training (PERFECT – POCI-01- 0145-FEDER-028618), no qual esta tese também foi integrada. Para apoiar o desenvolvimento da tese, também tivemos que definir como criaríamos o AV de treino e como usaríamos a resposta fisiológica para estudar a influência dos estímulos sensoriais. Para obter o AV de treino, decidimos desenvolver um simulador de RV imersivo e multissensorial. Com esse simulador, poderíamos criar e personalizar o AV de treino não apenas para bombeiros, mas para qualquer profissão onde a RV possa ser aplicada. Quanto à resposta fisiológica, visto que o nosso objetivo é obter uma resposta semelhante à do AR, decidimos propor um método inovador que avalia a eficácia do treino proporcionado pelo AV a partir de sua capacidade de invocar uma resposta fisiológica de estresse semelhante à do AR. Ao longo da tese, vários estudos com utilizadores foram realizados. O objetivo de tais estudos foi principalmente a avaliação da eficácia do AV projetado para treinar bombeiros e a avaliação do impacto de diferentes estímulos sensoriais na eficácia desse AV. Num primeiro estudo com utilizadores, cumprimos um dos objetivos desta tese, a proposição e validação de uma metodologia inovadora para avaliação da eficácia de AV’s de treino. Esta metodologia é baseada na comparação da resposta fisiológica dos participantes entre um Ambiente Real (AR) e uma réplica virtual desse ambiente. Além da metodologia, foi realizada uma avaliação preliminar da eficácia do AV de treino de bombeiros. Essa avaliação permitiu testar e validar a metodologia, mas também mostrou que a eficácia do VE era significativamente diferente da do AR. Levando em consideração os resultados e o feedback recebido desse primeiro estudo preliminar, desenvolvemos uma versão nova e aprimorada do AV. Usando este AV aprimorado, um novo estudo com utilizadores foi realizado. Os resultados deste estudo foram positivos, embora a eficácia do AV não tenha sido a mesma do AR, os resultados levaram-nos a concluir que o AV foi eficaz na tarefa de treinar bombeiros e que poderia ser utilizado para complementar a formação de bombeiros. Para cumprir outro objetivo desta tese, um terceiro e último estudo com utilizadores foi realizado. O objetivo deste estudo foi avaliar o impacto individual e combinado de estímulos sensoriais na resposta do utilizador e, como tal, na eficácia do AV. Os resultados deste estudo indicaram que o uso do mesmo Equipamento de Proteção Individual (EPI) que o AR tem impacto positivo na eficácia do AV, e que, quando possível, um AV deve proporcionar uma experiência multissensorial, que combine diferentes estímulos sensoriais, de forma coerente, a fim de maximizar a eficácia do AV de treino.
publishDate 2022
dc.date.none.fl_str_mv 2022-12-02T00:00:00Z
2022-12-02
2023-05-04T10:57:18Z
dc.type.driver.fl_str_mv doctoral thesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10348/11551
url http://hdl.handle.net/10348/11551
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/pdf
application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833593017694420992