Um processo para avaliação e gerenciamento de mudanças de modelos de aprendizado de máquina aplicado a área da saúde

• Ano de defesa: 2023
• Autor(a) principal: Souza, Cezar Miranda Paula de
• Orientador(a): Barroca Filho, Itamir de Morais
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Rio Grande do Norte
• Programa de Pós-Graduação: PROGRAMA DE PÓS-GRADUAÇÃO EM TECNOLOGIA DA INFORMAÇÃO
• País: Brasil
• Palavras-chave em Português: Avaliação de AM; MLOps; Monitoramento contínuo; Continual learning; Feedback-loop
• Área do conhecimento CNPq: CNPQ::ENGENHARIAS
• Link de acesso: https://repositorio.ufrn.br/handle/123456789/54773

Suportado por avanços de hardware e software, o uso de Aprendizado de Máquina (AM), reconhecido por alavancar o trabalho nas mais variadas áreas de conhecimento, começou a acelerar exponencialmente nas últimas décadas. Os experimentos, em geral realizados em ambientes controlados, sobre amostras de dados previamente conhecidos e preparados, tem trazido resultados extraordinários, o que popularizou o uso do Aprendizado de Máquina ao ponto de ser difícil encontrar um ramo do conhecimento humano no qual o AM ainda não tenha sido abordado. Neste contexto, surgem questões relativas à representatividade das amostras de dados utilizadas, e à necessidade de se estabelecer garantias mínimas quanto a performance sobre dados desconhecidos (do mundo real), especialmente em aplicações críticas como as da Saúde, onde erros podem significar risco de vida para pacientes. Dentro do AM há uma disciplina chamada de Machine Learning Operations (MLOps), que se destina ao gerenciamento do ciclo de vida de modelos de Aprendizado de Máquina, desde sua concepção até sua entrega em produção (ambientes de uso efetivo no mundo real) e seu posterior monitoramento. Uma vez implantados, modelos estão sujeitos a problemas de decaimento de performance, causado por fenômenos como o drift, o que tem motivado estudos recentes sobre continual learning e monitoramento contínuo para modelos de AM. O presente trabalho apresenta um processo para avaliação de modelos de AM desenhado para aplicações da saúde em operação no mundo real. Para tanto, foram realizados (1) uma Revisão Sistemática da Literatura (RSL) com o objetivo de determinar o estado da arte para técnicas e métodos de avaliação de AM, e (2) um Estudo de Caso (EC) aplicando o processo em modelos de uma UTI oncológica. Resultados positivos foram obtidos, estabelecendo um ciclo de feedback para modelos em uso no mundo real dados.