Reinforcement Learning for Predictive Aircraft Maintenance

Bibliographic Details
Main Author: Andrade, Pedro Manuel Cerveira
Publication Date: 2020
Format: Master thesis
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/10316/92094
Summary: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_033dcec5463e95f688b18a8abadbcf12
oai_identifier_str oai:estudogeral.uc.pt:10316/92094
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Reinforcement Learning for Predictive Aircraft MaintenanceAprendizagem por Reforço para Manutenção Preditiva de AeronavesMaintenance SchedulingManutenção de AeronavesInteligência ArtificialManutenção PreditivaAgendamento de ManutençãoAprendizagem por ReforçoAircraft MaintenanceArtificial IntelligencePredictive MaintenanceReinforcement LearningDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaThe optimization of aircraft maintenance has been a focal point for airlines for many years, mainly due to the high costs associated with it. Currently, most airlines adopt preventive maintenance strategies to reduce the number of unexpected failures. However, some strategies have some flaws due to the possibility of over-maintenance and the inability to predict failures. The aim of the Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) project is to use a predictive strategy, namely Condition-Based Maintenance (CBM), to deal with these problems. The idea is to monitor the condition of components with data gathered from sensors to compute Remaining Useful Life (RUL) values, which can be used in the maintenance decision process.This work is part of the ReMAP project, and the goal is to use Reinforcement Learning (RL) to optimize the scheduling of aircraft maintenance. In the first stage, two formulations are proposed to optimize the scheduling of checks for a specified time horizon using the Deep Q-Learning (QL) algorithm. In the second stage, the Asynchronous Advantage Actor-Critic (A3C) algorithm is used to optimize a task packaging solution, while considering relevant aircraft maintenance factors, such as manpower resources and unscheduled maintenance. Moreover, a predictive task scheduling algorithm is proposed, using prognostic information to adapt the existing maintenance plan.The proposed algorithms in both stages are tested and validated using real maintenance data from a fleet of 51 aircraft. The quality of the maintenance plan obtained is evaluated according to several Key Performance Indicators (KPI). The results are very positive and promising, which indicates the potential of RL to solve this type of problem.A otimização da manutenção de aeronaves tem sido um ponto essencial para as companhias aéreas durante muitos anos, principalmente devido aos elevados custos que lhe estão associados. Atualmente, a maioria das companhias aéreas adotam estratégias de manutenção preventivas para reduzir o número de falhas inesperadas. Contudo, algumas destas estratégias apresentam alguns defeitos devido à possibilidade de realizar manutenção em excesso e à incapacidade de prever falhas. O projeto Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) tem como objetivo usar uma estratégia preditiva, tal como a Condition-Based Maintenance (CBM), para lidar com estes problemas. A ideia é monitorizar a condição de componentes com dados recolhidos de sensores para calcular valores de Remaining Useful Life (RUL), que podem ser aplicados posteriormente no processo de decisão de manutenção.Este trabalho faz parte do projeto ReMAP, tendo como objetivo o uso de Reinforcement Learning (RL) para otimizar o agendamento de manutenção para aeronaves. Na primeira etapa, são propostas duas formulações para otimizar o agendamento de checks para um horizonte temporal especifico usando o algoritmo Deep Q-Learning (QL). Na segunda etapa, o algoritmo Asynchronous Advantage Actor-Critic (A3C) é usado para otimizar uma solução de empacotamento de tarefas, considerando alguns fatores importantes na manutenção de aeronaves, tais como recursos humanos e manutenção inesperada. Além disso, um algoritmo de agendamento preditivo de tarefas é proposto, usando informação de prognóstico para adaptar o plano de manutenção existente.Os algoritmos propostos para ambas as etapas são testados e validados com dados reais de manutenção de uma frota de 51 aeronaves. A qualidade do plano de manutenção obtido é avaliado de acordo com vários Key Performance Indicators (KPI). Os resultados são muito positivos e promissores, indicando o potencial de RL para resolver este tipo de problemas.H20202020-09-15info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/92094https://hdl.handle.net/10316/92094TID:202553892engAndrade, Pedro Manuel Cerveirainfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2022-05-25T04:48:11Zoai:estudogeral.uc.pt:10316/92094Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T05:39:37.264988Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Reinforcement Learning for Predictive Aircraft Maintenance
Aprendizagem por Reforço para Manutenção Preditiva de Aeronaves
title Reinforcement Learning for Predictive Aircraft Maintenance
spellingShingle Reinforcement Learning for Predictive Aircraft Maintenance
Andrade, Pedro Manuel Cerveira
Maintenance Scheduling
Manutenção de Aeronaves
Inteligência Artificial
Manutenção Preditiva
Agendamento de Manutenção
Aprendizagem por Reforço
Aircraft Maintenance
Artificial Intelligence
Predictive Maintenance
Reinforcement Learning
title_short Reinforcement Learning for Predictive Aircraft Maintenance
title_full Reinforcement Learning for Predictive Aircraft Maintenance
title_fullStr Reinforcement Learning for Predictive Aircraft Maintenance
title_full_unstemmed Reinforcement Learning for Predictive Aircraft Maintenance
title_sort Reinforcement Learning for Predictive Aircraft Maintenance
author Andrade, Pedro Manuel Cerveira
author_facet Andrade, Pedro Manuel Cerveira
author_role author
dc.contributor.author.fl_str_mv Andrade, Pedro Manuel Cerveira
dc.subject.por.fl_str_mv Maintenance Scheduling
Manutenção de Aeronaves
Inteligência Artificial
Manutenção Preditiva
Agendamento de Manutenção
Aprendizagem por Reforço
Aircraft Maintenance
Artificial Intelligence
Predictive Maintenance
Reinforcement Learning
topic Maintenance Scheduling
Manutenção de Aeronaves
Inteligência Artificial
Manutenção Preditiva
Agendamento de Manutenção
Aprendizagem por Reforço
Aircraft Maintenance
Artificial Intelligence
Predictive Maintenance
Reinforcement Learning
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2020
dc.date.none.fl_str_mv 2020-09-15
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/92094
https://hdl.handle.net/10316/92094
TID:202553892
url https://hdl.handle.net/10316/92094
identifier_str_mv TID:202553892
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602428832841728

Similar Items