Performance assessment of deep q-learning extensions for flexible job-shop scheduling

Bibliographic Details
Main Author: Corrêa, Arthur Jorge Pereira
Publication Date: 2024
Format: Master thesis
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/10316/116506
Summary: Dissertação de Mestrado em Engenharia e Gestão Industrial apresentada à Faculdade de Ciências e Tecnologia
id RCAP_6c213aff87b1680ded147652b66bb76f
oai_identifier_str oai:estudogeral.uc.pt:10316/116506
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Performance assessment of deep q-learning extensions for flexible job-shop schedulingAvaliação de desempenho de extensões de deep q-learning aplicadas ao flexible job-shopJob-shopSchedulingDeep q-networkReinforcement learningJob-shopSchedulingDeep q-networkReinforcement learningDissertação de Mestrado em Engenharia e Gestão Industrial apresentada à Faculdade de Ciências e TecnologiaFlexible job-shop scheduling (FJSP) poses a critical challenge across variousreal-world applications. The inherent computational complexity of FJSP stems from itscombinatorial nature, making it difficult to find optimal solutions quickly, especially asproblem sizes grow. Traditional optimization approaches, such as exact algorithms andmeta-heuristics, often struggle with the scalability required for large FJSP instances, leadingto the exploration of alternative methods.While deep reinforcement learning (DRL), notably deep q-networks (DQN), hasshown substantial potential in arcade learning environments, its performance in tacklingintricate combinatorial problems like the FJSP remains uncertain. Although there is agrowing interest in leveraging DRL algorithms for scheduling research, there is a lack ofquantitative evidence regarding the impact of recent advancements in the field of DRL.This study applies various DQN extensions from literature to analyze theireffectiveness in solving FJSP instances. Findings indicate that while most extensions yieldhigh-quality solutions with significantly reduced computational time, standard DQNoutperforms in most cases. This counterintuitive result suggests that the simpler DQNframework might be better suited for the specific characteristics of FJSP, or that theadditional complexities introduced by the extensions do not translate into improvedperformance for this problem. The examination of these extensions is crucial for assessingtheir performance relative to traditional methods, aiding decision makers in determiningwhether to incorporate them or not. Such insights are invaluable, including the additionalimplementation efforts and computational demands associated with more sophisticated DRLapproaches.O flexible job-shop (FJSP) representa um desafio crítico em várias aplicaçõesdo mundo real. A complexidade computacional inerente ao FJSP decorre de sua naturezacombinatória, o que torna difícil a obtenção de soluções ótimas rapidamente, especialmenteà medida que a dimensão dos problemas aumenta. As abordagens tradicionais de otimização,como algoritmos exatos e meta-heurísticas, muitas vezes enfrentam dificuldades com aescalabilidade necessária para grandes instâncias, levando à exploração de métodosalternativos.Métodos de deep reinforcement learning (DRL), especialmente deep q-networks(DQN), demonstram um potencial substancial em ambientes de aprendizado de arcade, noentanto, seu desempenho ao lidar com problemas combinatórios complexos como o FJSPainda é incerto. Embora haja um interesse crescente em utilizar algoritmos de DRL emproblemas de escalonamento de produção, falta evidência quantitativa sobre os impactos dosavanços recentes no campo de DRL.Este estudo aplica diversas extensões de DQN da literatura para analisar suaeficácia na resolução de instâncias de FJSP. Os resultados indicam que, embora a maioriadas extensões produza soluções de alta qualidade com tempo computacionalsignificativamente reduzido, a versão base do DQN, sem extensões, se destaca na maioriados casos. Este resultado contraintuitivo sugere que a estrutura mais simples de DQNs podeser mais adequada para as características específicas do FJSP, ou que as complexidadesadicionais introduzidas pelas extensões não se traduzem em um desempenho melhorado paraeste problema. A análise dessas extensões é crucial para avaliar o seu desempenhorelativamente aos métodos tradicionais, auxiliando os tomadores de decisão a determinar sedevem incorporá-las ou não. Tal conhecimento é inestimável, pois informa sobre eventuaiscompensações, como esforços de implementação adicionais e maior demandacomputacional.2024-07-222026-07-22T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/116506https://hdl.handle.net/10316/116506TID:203694104engCorrêa, Arthur Jorge Pereirainfo:eu-repo/semantics/embargoedAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2025-04-02T17:32:35Zoai:estudogeral.uc.pt:10316/116506Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T06:10:13.752018Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Performance assessment of deep q-learning extensions for flexible job-shop scheduling
Avaliação de desempenho de extensões de deep q-learning aplicadas ao flexible job-shop
title Performance assessment of deep q-learning extensions for flexible job-shop scheduling
spellingShingle Performance assessment of deep q-learning extensions for flexible job-shop scheduling
Corrêa, Arthur Jorge Pereira
Job-shop
Scheduling
Deep q-network
Reinforcement learning
Job-shop
Scheduling
Deep q-network
Reinforcement learning
title_short Performance assessment of deep q-learning extensions for flexible job-shop scheduling
title_full Performance assessment of deep q-learning extensions for flexible job-shop scheduling
title_fullStr Performance assessment of deep q-learning extensions for flexible job-shop scheduling
title_full_unstemmed Performance assessment of deep q-learning extensions for flexible job-shop scheduling
title_sort Performance assessment of deep q-learning extensions for flexible job-shop scheduling
author Corrêa, Arthur Jorge Pereira
author_facet Corrêa, Arthur Jorge Pereira
author_role author
dc.contributor.author.fl_str_mv Corrêa, Arthur Jorge Pereira
dc.subject.por.fl_str_mv Job-shop
Scheduling
Deep q-network
Reinforcement learning
Job-shop
Scheduling
Deep q-network
Reinforcement learning
topic Job-shop
Scheduling
Deep q-network
Reinforcement learning
Job-shop
Scheduling
Deep q-network
Reinforcement learning
description Dissertação de Mestrado em Engenharia e Gestão Industrial apresentada à Faculdade de Ciências e Tecnologia
publishDate 2024
dc.date.none.fl_str_mv 2024-07-22
2026-07-22T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/116506
https://hdl.handle.net/10316/116506
TID:203694104
url https://hdl.handle.net/10316/116506
identifier_str_mv TID:203694104
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/embargoedAccess
eu_rights_str_mv embargoedAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602599923744768

Similar Items