Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19
| Main Author: | |
|---|---|
| Publication Date: | 2024 |
| Format: | Master thesis |
| Language: | por |
| Source: | Biblioteca Digital de Teses e Dissertações da USP |
| Download full: | https://www.teses.usp.br/teses/disponiveis/6/6143/tde-29012025-161953/ |
Summary: | Na prática clínica, a capacidade de identificar erros antes de sua ocorrência ou impacto clínico é de extrema importância, pois possibilita a identificação de situações em que uma predição pode ser menos confiável, permitindo que os profissionais de saúde tomem decisões mais cautelosas. No contexto de uma pandemia, em que decisões rápidas e precisas são essenciais para salvar vidas, a antecipação de erros em modelos de predição, especialmente aqueles aplicados a desfechos críticos na saúde, pode aprimorar significativamente o planejamento clínico e a alocação de recursos. Esta dissertação apresenta o desenvolvimento e avaliação de algoritmos de inteligência artificial (IA) para a predição de erros em modelos de classificação de desfechos críticos relacionados à covid-19, especificamente mortalidade e internação em UTI. Foram analisados dados de 8.477 pacientes provenientes da rede Inteligência Artificial para Covid-19 no Brasil (IACOV-BR), composta por 18 hospitais brasileiros, e coordenada pelo Laboratório de Big Data e Análise Preditiva em Saúde (LABDAPS) da Faculdade de Saúde Pública da Universidade de São Paulo (FSP/USP). Um modelo base foi inicialmente desenvolvido utilizando XGBoost, obtendo uma AUC de 0,852 para mortalidade e 0,928 para UTI. A partir desse modelo, foram treinados modelos auxiliares para predizer os erros de predição do algoritmo original. Estes erros, divididos em tipo 1 (falsos positivos), tipo 2 (falsos negativos) e erros gerais, refletem as principais falhas que podem comprometer a confiabilidade de predições. Entre os modelos auxiliares, o XGBoost apresentou melhor desempenho, com AUCs variando de um mínimo de 0,662 para a predição de erros tipo 1 em mortalidade até 0,870 para a predição de erros tipo 2 em UTI. A análise de grupos, que cruzou as predições do modelo base com as dos modelos auxiliares, identificou situações em que os erros de predição eram mais frequentes, destacando áreas críticas para melhoria dos modelos. Esses resultados sugerem que a integração de modelos auxiliares pode melhorar a identificação de pacientes com alto risco de erro na predição inicial, contribuindo para decisões clínicas mais informadas. |
| id |
USP_3b88e9ee7d6852b0fd7be0e900c591dd |
|---|---|
| oai_identifier_str |
oai:teses.usp.br:tde-29012025-161953 |
| network_acronym_str |
USP |
| network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
| repository_id_str |
2721 |
| spelling |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19Artificial intelligence algorithms for identifying prediction errors in COVID-19 patient outcomesAlgoritmos PreditivosArtificial Intelligence in HealthCOVID-19Covid-19Inteligência Artificial na SaúdeMachine LearningMachine LearningPredictive AlgorithmsNa prática clínica, a capacidade de identificar erros antes de sua ocorrência ou impacto clínico é de extrema importância, pois possibilita a identificação de situações em que uma predição pode ser menos confiável, permitindo que os profissionais de saúde tomem decisões mais cautelosas. No contexto de uma pandemia, em que decisões rápidas e precisas são essenciais para salvar vidas, a antecipação de erros em modelos de predição, especialmente aqueles aplicados a desfechos críticos na saúde, pode aprimorar significativamente o planejamento clínico e a alocação de recursos. Esta dissertação apresenta o desenvolvimento e avaliação de algoritmos de inteligência artificial (IA) para a predição de erros em modelos de classificação de desfechos críticos relacionados à covid-19, especificamente mortalidade e internação em UTI. Foram analisados dados de 8.477 pacientes provenientes da rede Inteligência Artificial para Covid-19 no Brasil (IACOV-BR), composta por 18 hospitais brasileiros, e coordenada pelo Laboratório de Big Data e Análise Preditiva em Saúde (LABDAPS) da Faculdade de Saúde Pública da Universidade de São Paulo (FSP/USP). Um modelo base foi inicialmente desenvolvido utilizando XGBoost, obtendo uma AUC de 0,852 para mortalidade e 0,928 para UTI. A partir desse modelo, foram treinados modelos auxiliares para predizer os erros de predição do algoritmo original. Estes erros, divididos em tipo 1 (falsos positivos), tipo 2 (falsos negativos) e erros gerais, refletem as principais falhas que podem comprometer a confiabilidade de predições. Entre os modelos auxiliares, o XGBoost apresentou melhor desempenho, com AUCs variando de um mínimo de 0,662 para a predição de erros tipo 1 em mortalidade até 0,870 para a predição de erros tipo 2 em UTI. A análise de grupos, que cruzou as predições do modelo base com as dos modelos auxiliares, identificou situações em que os erros de predição eram mais frequentes, destacando áreas críticas para melhoria dos modelos. Esses resultados sugerem que a integração de modelos auxiliares pode melhorar a identificação de pacientes com alto risco de erro na predição inicial, contribuindo para decisões clínicas mais informadas.In clinical practice, the ability to identify errors before their occurrence or clinical impact is of utmost importance, as it allows the identification of situations where a prediction may be less reliable, enabling healthcare professionals to make more cautious decisions. In the context of a pandemic, where quick and accurate decisions are essential to saving lives, anticipating errors in predictive models, particularly those applied to critical health outcomes, can significantly improve clinical planning and resource allocation. This dissertation presents the development and evaluation of artificial intelligence (AI) algorithms for predicting errors in classification models of critical outcomes related to COVID-19, specifically mortality and ICU admission. Data from 8,477 patients from the Artificial Intelligence for COVID-19 in Brazil (IACOV-BR) network, composed of 18 Brazilian hospitals and coordinated by the Big Data and Predictive Analytics in Health Laboratory (LABDAPS) at the School of Public Health of the University of São Paulo (FSP/USP), were analyzed. A base model was initially developed using XGBoost, achieving an AUC of 0.852 for mortality and 0.928 for ICU admission. From this model, auxiliary models were trained to predict the errors of the original algorithm. These errors, categorized as type 1 (false positives), type 2 (false negatives), and general errors, represent the primary failures that can undermine the reliability of predictions. Among the auxiliary models, XGBoost performed the best, with AUCs ranging from 0.662 for predicting type 1 errors in mortality to 0.870 for predicting type 2 errors in ICU admission. Group analysis, which crossed the predictions of the base model with those of the auxiliary models, identified situations where prediction errors were more frequent, highlighting critical areas for model improvement. These findings suggest that integrating auxiliary models can enhance the identification of patients at high risk of error in initial predictions, contributing to more informed clinical decisions.Biblioteca Digitais de Teses e Dissertações da USPChiavegatto Filho, Alexandre Dias PortoPanduro, Kevin Anderson Ruperto Mateo2024-11-04info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/6/6143/tde-29012025-161953/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2025-01-29T18:25:01Zoai:teses.usp.br:tde-29012025-161953Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212025-01-29T18:25:01Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
| dc.title.none.fl_str_mv |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19 Artificial intelligence algorithms for identifying prediction errors in COVID-19 patient outcomes |
| title |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19 |
| spellingShingle |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19 Panduro, Kevin Anderson Ruperto Mateo Algoritmos Preditivos Artificial Intelligence in Health COVID-19 Covid-19 Inteligência Artificial na Saúde Machine Learning Machine Learning Predictive Algorithms |
| title_short |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19 |
| title_full |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19 |
| title_fullStr |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19 |
| title_full_unstemmed |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19 |
| title_sort |
Algoritmos de inteligência artificial para identificar erros de predição em desfechos de pacientes com covid-19 |
| author |
Panduro, Kevin Anderson Ruperto Mateo |
| author_facet |
Panduro, Kevin Anderson Ruperto Mateo |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Chiavegatto Filho, Alexandre Dias Porto |
| dc.contributor.author.fl_str_mv |
Panduro, Kevin Anderson Ruperto Mateo |
| dc.subject.por.fl_str_mv |
Algoritmos Preditivos Artificial Intelligence in Health COVID-19 Covid-19 Inteligência Artificial na Saúde Machine Learning Machine Learning Predictive Algorithms |
| topic |
Algoritmos Preditivos Artificial Intelligence in Health COVID-19 Covid-19 Inteligência Artificial na Saúde Machine Learning Machine Learning Predictive Algorithms |
| description |
Na prática clínica, a capacidade de identificar erros antes de sua ocorrência ou impacto clínico é de extrema importância, pois possibilita a identificação de situações em que uma predição pode ser menos confiável, permitindo que os profissionais de saúde tomem decisões mais cautelosas. No contexto de uma pandemia, em que decisões rápidas e precisas são essenciais para salvar vidas, a antecipação de erros em modelos de predição, especialmente aqueles aplicados a desfechos críticos na saúde, pode aprimorar significativamente o planejamento clínico e a alocação de recursos. Esta dissertação apresenta o desenvolvimento e avaliação de algoritmos de inteligência artificial (IA) para a predição de erros em modelos de classificação de desfechos críticos relacionados à covid-19, especificamente mortalidade e internação em UTI. Foram analisados dados de 8.477 pacientes provenientes da rede Inteligência Artificial para Covid-19 no Brasil (IACOV-BR), composta por 18 hospitais brasileiros, e coordenada pelo Laboratório de Big Data e Análise Preditiva em Saúde (LABDAPS) da Faculdade de Saúde Pública da Universidade de São Paulo (FSP/USP). Um modelo base foi inicialmente desenvolvido utilizando XGBoost, obtendo uma AUC de 0,852 para mortalidade e 0,928 para UTI. A partir desse modelo, foram treinados modelos auxiliares para predizer os erros de predição do algoritmo original. Estes erros, divididos em tipo 1 (falsos positivos), tipo 2 (falsos negativos) e erros gerais, refletem as principais falhas que podem comprometer a confiabilidade de predições. Entre os modelos auxiliares, o XGBoost apresentou melhor desempenho, com AUCs variando de um mínimo de 0,662 para a predição de erros tipo 1 em mortalidade até 0,870 para a predição de erros tipo 2 em UTI. A análise de grupos, que cruzou as predições do modelo base com as dos modelos auxiliares, identificou situações em que os erros de predição eram mais frequentes, destacando áreas críticas para melhoria dos modelos. Esses resultados sugerem que a integração de modelos auxiliares pode melhorar a identificação de pacientes com alto risco de erro na predição inicial, contribuindo para decisões clínicas mais informadas. |
| publishDate |
2024 |
| dc.date.none.fl_str_mv |
2024-11-04 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/6/6143/tde-29012025-161953/ |
| url |
https://www.teses.usp.br/teses/disponiveis/6/6143/tde-29012025-161953/ |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.none.fl_str_mv |
|
| dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.coverage.none.fl_str_mv |
|
| dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
| instname_str |
Universidade de São Paulo (USP) |
| instacron_str |
USP |
| institution |
USP |
| reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
| collection |
Biblioteca Digital de Teses e Dissertações da USP |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
| repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
| _version_ |
1839839052057018368 |