Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19

Bibliographic Details
Main Author: Panduro, Kevin Anderson Ruperto Mateo
Publication Date: 2024
Format: Master thesis
Language: por
Source: Biblioteca Digital de Teses e Dissertações da USP
Download full: https://www.teses.usp.br/teses/disponiveis/6/6143/tde-29012025-161953/
Summary: Na prática clínica, a capacidade de identificar erros antes de sua ocorrência ou impacto clínico é de extrema importância, pois possibilita a identificação de situações em que uma predição pode ser menos confiável, permitindo que os profissionais de saúde tomem decisões mais cautelosas. No contexto de uma pandemia, em que decisões rápidas e precisas são essenciais para salvar vidas, a antecipação de erros em modelos de predição, especialmente aqueles aplicados a desfechos críticos na saúde, pode aprimorar significativamente o planejamento clínico e a alocação de recursos. Esta dissertação apresenta o desenvolvimento e avaliação de algoritmos de inteligência artificial (IA) para a predição de erros em modelos de classificação de desfechos críticos relacionados à covid-19, especificamente mortalidade e internação em UTI. Foram analisados dados de 8.477 pacientes provenientes da rede Inteligência Artificial para Covid-19 no Brasil (IACOV-BR), composta por 18 hospitais brasileiros, e coordenada pelo Laboratório de Big Data e Análise Preditiva em Saúde (LABDAPS) da Faculdade de Saúde Pública da Universidade de São Paulo (FSP/USP). Um modelo base foi inicialmente desenvolvido utilizando XGBoost, obtendo uma AUC de 0,852 para mortalidade e 0,928 para UTI. A partir desse modelo, foram treinados modelos auxiliares para predizer os erros de predição do algoritmo original. Estes erros, divididos em tipo 1 (falsos positivos), tipo 2 (falsos negativos) e erros gerais, refletem as principais falhas que podem comprometer a confiabilidade de predições. Entre os modelos auxiliares, o XGBoost apresentou melhor desempenho, com AUCs variando de um mínimo de 0,662 para a predição de erros tipo 1 em mortalidade até 0,870 para a predição de erros tipo 2 em UTI. A análise de grupos, que cruzou as predições do modelo base com as dos modelos auxiliares, identificou situações em que os erros de predição eram mais frequentes, destacando áreas críticas para melhoria dos modelos. Esses resultados sugerem que a integração de modelos auxiliares pode melhorar a identificação de pacientes com alto risco de erro na predição inicial, contribuindo para decisões clínicas mais informadas.
id USP_3b88e9ee7d6852b0fd7be0e900c591dd
oai_identifier_str oai:teses.usp.br:tde-29012025-161953
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19Artificial intelligence algorithms for identifying prediction errors in COVID-19 patient outcomesAlgoritmos PreditivosArtificial Intelligence in HealthCOVID-19Covid-19Inteligência Artificial na SaúdeMachine LearningMachine LearningPredictive AlgorithmsNa prática clínica, a capacidade de identificar erros antes de sua ocorrência ou impacto clínico é de extrema importância, pois possibilita a identificação de situações em que uma predição pode ser menos confiável, permitindo que os profissionais de saúde tomem decisões mais cautelosas. No contexto de uma pandemia, em que decisões rápidas e precisas são essenciais para salvar vidas, a antecipação de erros em modelos de predição, especialmente aqueles aplicados a desfechos críticos na saúde, pode aprimorar significativamente o planejamento clínico e a alocação de recursos. Esta dissertação apresenta o desenvolvimento e avaliação de algoritmos de inteligência artificial (IA) para a predição de erros em modelos de classificação de desfechos críticos relacionados à covid-19, especificamente mortalidade e internação em UTI. Foram analisados dados de 8.477 pacientes provenientes da rede Inteligência Artificial para Covid-19 no Brasil (IACOV-BR), composta por 18 hospitais brasileiros, e coordenada pelo Laboratório de Big Data e Análise Preditiva em Saúde (LABDAPS) da Faculdade de Saúde Pública da Universidade de São Paulo (FSP/USP). Um modelo base foi inicialmente desenvolvido utilizando XGBoost, obtendo uma AUC de 0,852 para mortalidade e 0,928 para UTI. A partir desse modelo, foram treinados modelos auxiliares para predizer os erros de predição do algoritmo original. Estes erros, divididos em tipo 1 (falsos positivos), tipo 2 (falsos negativos) e erros gerais, refletem as principais falhas que podem comprometer a confiabilidade de predições. Entre os modelos auxiliares, o XGBoost apresentou melhor desempenho, com AUCs variando de um mínimo de 0,662 para a predição de erros tipo 1 em mortalidade até 0,870 para a predição de erros tipo 2 em UTI. A análise de grupos, que cruzou as predições do modelo base com as dos modelos auxiliares, identificou situações em que os erros de predição eram mais frequentes, destacando áreas críticas para melhoria dos modelos. Esses resultados sugerem que a integração de modelos auxiliares pode melhorar a identificação de pacientes com alto risco de erro na predição inicial, contribuindo para decisões clínicas mais informadas.In clinical practice, the ability to identify errors before their occurrence or clinical impact is of utmost importance, as it allows the identification of situations where a prediction may be less reliable, enabling healthcare professionals to make more cautious decisions. In the context of a pandemic, where quick and accurate decisions are essential to saving lives, anticipating errors in predictive models, particularly those applied to critical health outcomes, can significantly improve clinical planning and resource allocation. This dissertation presents the development and evaluation of artificial intelligence (AI) algorithms for predicting errors in classification models of critical outcomes related to COVID-19, specifically mortality and ICU admission. Data from 8,477 patients from the Artificial Intelligence for COVID-19 in Brazil (IACOV-BR) network, composed of 18 Brazilian hospitals and coordinated by the Big Data and Predictive Analytics in Health Laboratory (LABDAPS) at the School of Public Health of the University of São Paulo (FSP/USP), were analyzed. A base model was initially developed using XGBoost, achieving an AUC of 0.852 for mortality and 0.928 for ICU admission. From this model, auxiliary models were trained to predict the errors of the original algorithm. These errors, categorized as type 1 (false positives), type 2 (false negatives), and general errors, represent the primary failures that can undermine the reliability of predictions. Among the auxiliary models, XGBoost performed the best, with AUCs ranging from 0.662 for predicting type 1 errors in mortality to 0.870 for predicting type 2 errors in ICU admission. Group analysis, which crossed the predictions of the base model with those of the auxiliary models, identified situations where prediction errors were more frequent, highlighting critical areas for model improvement. These findings suggest that integrating auxiliary models can enhance the identification of patients at high risk of error in initial predictions, contributing to more informed clinical decisions.Biblioteca Digitais de Teses e Dissertações da USPChiavegatto Filho, Alexandre Dias PortoPanduro, Kevin Anderson Ruperto Mateo2024-11-04info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/6/6143/tde-29012025-161953/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2025-01-29T18:25:01Zoai:teses.usp.br:tde-29012025-161953Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212025-01-29T18:25:01Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
Artificial intelligence algorithms for identifying prediction errors in COVID-19 patient outcomes
title Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
spellingShingle Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
Panduro, Kevin Anderson Ruperto Mateo
Algoritmos Preditivos
Artificial Intelligence in Health
COVID-19
Covid-19
Inteligência Artificial na Saúde
Machine Learning
Machine Learning
Predictive Algorithms
title_short Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
title_full Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
title_fullStr Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
title_full_unstemmed Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
title_sort Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
author Panduro, Kevin Anderson Ruperto Mateo
author_facet Panduro, Kevin Anderson Ruperto Mateo
author_role author
dc.contributor.none.fl_str_mv Chiavegatto Filho, Alexandre Dias Porto
dc.contributor.author.fl_str_mv Panduro, Kevin Anderson Ruperto Mateo
dc.subject.por.fl_str_mv Algoritmos Preditivos
Artificial Intelligence in Health
COVID-19
Covid-19
Inteligência Artificial na Saúde
Machine Learning
Machine Learning
Predictive Algorithms
topic Algoritmos Preditivos
Artificial Intelligence in Health
COVID-19
Covid-19
Inteligência Artificial na Saúde
Machine Learning
Machine Learning
Predictive Algorithms
description Na prática clínica, a capacidade de identificar erros antes de sua ocorrência ou impacto clínico é de extrema importância, pois possibilita a identificação de situações em que uma predição pode ser menos confiável, permitindo que os profissionais de saúde tomem decisões mais cautelosas. No contexto de uma pandemia, em que decisões rápidas e precisas são essenciais para salvar vidas, a antecipação de erros em modelos de predição, especialmente aqueles aplicados a desfechos críticos na saúde, pode aprimorar significativamente o planejamento clínico e a alocação de recursos. Esta dissertação apresenta o desenvolvimento e avaliação de algoritmos de inteligência artificial (IA) para a predição de erros em modelos de classificação de desfechos críticos relacionados à covid-19, especificamente mortalidade e internação em UTI. Foram analisados dados de 8.477 pacientes provenientes da rede Inteligência Artificial para Covid-19 no Brasil (IACOV-BR), composta por 18 hospitais brasileiros, e coordenada pelo Laboratório de Big Data e Análise Preditiva em Saúde (LABDAPS) da Faculdade de Saúde Pública da Universidade de São Paulo (FSP/USP). Um modelo base foi inicialmente desenvolvido utilizando XGBoost, obtendo uma AUC de 0,852 para mortalidade e 0,928 para UTI. A partir desse modelo, foram treinados modelos auxiliares para predizer os erros de predição do algoritmo original. Estes erros, divididos em tipo 1 (falsos positivos), tipo 2 (falsos negativos) e erros gerais, refletem as principais falhas que podem comprometer a confiabilidade de predições. Entre os modelos auxiliares, o XGBoost apresentou melhor desempenho, com AUCs variando de um mínimo de 0,662 para a predição de erros tipo 1 em mortalidade até 0,870 para a predição de erros tipo 2 em UTI. A análise de grupos, que cruzou as predições do modelo base com as dos modelos auxiliares, identificou situações em que os erros de predição eram mais frequentes, destacando áreas críticas para melhoria dos modelos. Esses resultados sugerem que a integração de modelos auxiliares pode melhorar a identificação de pacientes com alto risco de erro na predição inicial, contribuindo para decisões clínicas mais informadas.
publishDate 2024
dc.date.none.fl_str_mv 2024-11-04
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/6/6143/tde-29012025-161953/
url https://www.teses.usp.br/teses/disponiveis/6/6143/tde-29012025-161953/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1839839052057018368