Clinical research: methodological quality, reporting, spin and consistency between abstracts and full texts - Nascimento, Dafne Port (2019)
A utilização da evidência disponível mais recente e de alta qualidade metodológica, junto com a experiência clínica do profissional de saúde e as preferências e necessidades dos pacientes, compõem a prática baseada em evidências em saúde. Essencialmente, os profissionais de saúde devem saber avaliar criticamente a evidência científica para selecionar estudos de alta qualidade metodológica, assim como devem ler o texto completo do artigo. Porém muitas vezes a versão completa do artigo não tem acesso aberto e o resumo é mal reportado, o que pode levar os profissionais da saúde a tomar más decisões clínicas baseadas em intervenções ineficazes. Resumos de ensaios controlados aleatorizados e revisões sistemáticas podem apresentar má qualidade de descrição, inconsistência entre resumos e textos, e a presença de ‘spin’ (interpretação dos resultados de um estudo que super enfatizam os efeitos benéficos da intervenção). Essas questões relacionadas a resumos foram investigadas por exemplo nas áreas de psiquiatria, clínica médica, oncologia e cardiovascular. No entanto, algumas outras áreas da saúde ainda carecem de pesquisas sobre tais questões, como resumos de estudos relacionados a efetividade de intervenções em fisioterapia para dor lombar. Além disso, não existem estudos sumarizando dados que discutam possíveis soluções e ações a serem tomadas para melhorar a qualidade geral de resumos de estudos relacionados a efeitos do tratamento; ou quão amplos são os problemas relacionados aos resumos; ou como sua melhoria pode afetar o cotidiano das partes interessadas e também influenciar suas tomadas de decisões clínicas e acadêmicas. Diante desses motivos, os objetivos dessa tese foram descrever e analisar as principais características de amostras representativas e recentes de ensaios controlados aleatorizados e revisões sistemáticas e seus resumos em uma população específica de estudos (intervenções de fisioterapia para dor lombar); e descrever e comparar estudos que analisaram resumos de ensaios controlados aleatorizados e revisões sistemáticas em todas as áreas da saúde. Nossos principais objetivos foram aumentar a conscientização da importância de um resumo bem escrito nas áreas da saúde clínica e acadêmica, e também solicitar ações a serem feitas para mudar as políticas editoriais de revistas, afim de melhorar a qualidade dos resumos em geral. Apos analisar 200 ensaios controlados aleatorizados em fisioterapia para dor lombar (2010-2015) retirados do banco de dados PEDro (Physiotherapy Evidence Database), suas características principais foram: publicados em revistas com media de Fator de Impacto (FI) de 2.5, em que 55.5% endossaram as recomendações da CONSORT (Consolidated Standards of Reporting Trials); e qualidade metodológica moderada (pontuação media de 5.8 em uma escala de 0 a 10, quanto maior melhor). Apenas algumas revistas que publicaram ensaios clínicos em dor lombar tiveram FI maiores de 2.0, media de qualidade metodológica maior que 6.0, endossaram as recomendações CONSORT e possuíam acesso aberto aos artigos. Em relação aos resumos dos ensaios clínicos, encontramos que os resumos em dor lombar eram incompletos, com ‘spin’ e inconsistentes com o texto completo. Nossa conclusão foi que um numero substancial de ensaios controlados aleatorizados em dor lombar não seguem as recomendações metodológicas e de escrita adequadas. Alem disso, aconselhamos os profissionais de saúde a evitarem tomar decisões clínicas baseadas apenas em resumos. Editores e revisores de revistas, assim como autores de artigos são conjuntamente responsáveis por melhorar os resumos, que podem ser guiados por alterações em políticas editorias de revistas. As principais características das 66 revisões sistemáticas em dor lombar retiradas da PEDro (2015-2017) foram: aproximadamente 88.0% das revistas apresentaram media de FI de 3.7 e 54.8% das revistas endossavam as recomendações PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses). A qualidade metodológica foi classificada como criticamente baixa em 75.8% das revisões (media de FI 3.7), baixa para 10.6% (media de FI 1.9), moderada para 6.1% e alta para 7.7% (sendo estas revisões Cochrane com FI 6.8). Nossos resultados mostraram que a maioria das revisões publicadas em revistas que endossavam as recomendações PRISMA apresentaram qualidade metodológica criticamente baixa (36.4%). Em relação aos resumos, nós encontramos que resumos de revisões sistemáticas em dor lombar foram reportados inadequadamente, inconsistentes com o texto completo (somente os resumos de revisões Cochrane apresentaram interpretação consistente com os textos completos), e apresentaram alguma forma de ‘spin’ em 80.3% dos resumos. Concluímos que a maioria das revisões sistemáticas em dor lombar apresentou qualidade metodológica criticamente baixa, com exceção de revisões publicadas na Cochrane Database of Systematic Reviews. Com base nesses resultados, é extremamente importante que clínicos saibam avaliar criticamente a qualidade metodológica de uma revisão sistemática. Alem disso, aconselhamos leitores de artigos científicos a ler o texto completo quando utilizando revisões sistemáticas para guiar sua prática clínica. Editores e revisores de revistas devem seguir e checar checklists de qualidade de descrição, e também assegurar que resumos não possuem ‘spin’. Finalmente, nós sugerimos que autores escrevam resumos somente quando o artigo está completo, com a devida atenção a consistência e remoção de ‘spin’. Afim de explorar se estas questões sobre resumos podem ser generalizadas para outras áreas da saúde, e também para solicitar ações de conselhos editorias de revistas em saúde, nós projetamos uma revisão sistemática. O objetivo principal foi analisar descritivamente estudos de visão geral que incluíram ensaios controlados aleatorizados e revisões sistemáticas, sumarizando dados dos resumos em saúde em relação a qualidade de descrição e consistência entre resumos e textos completos. Nós dividimos os resultados em dois grupos principais: 1) Qualidade de descrição de resumos: 27 estudos de visão geral que analisaram 5,194 ensaios controlados aleatorizados e 866 revisões sistemáticas foram encontrados. A pontuação percentual media padronizada de itens totalmente reportados variou de 28.1% a 72.7% nas áreas da saúde; e 2) Consistência entre resumos e textos completos: um total de 22 estudos de visão geral que analisaram 2,017 ensaios controlados aleatorizados e 551 revisões sistemáticas foram incluídas. A porcentagem media padronizada de resumos inconsistentes variou de 7.0% a 98.0% em todas as áreas da saúde, sendo as seções de resultados e conclusões dos resumos as mais inconsistentes. Tais resultados mostraram que os resumos de ensaios controlados aleatorizados e revisões sistemáticas em saúde tem um grande espaço para melhora na qualidade de descrição e consistência com os textos completos. Resumos são a parte mais importante de um estudo de pesquisa e recomendações a autores, editores e revisores de revistas precisam ser colocadas em prática como prioridade mais alta. Alem dos resumos mais utilizados em pesquisa (com objetivos, métodos, resultados e conclusão), o uso de resumos visuais (por meio de imagens visuais coloridas de diagramas, gráficos e figuras) parece ser um ótimo recurso adicional para disseminar informações de resultados-chave de pesquisa em mídias sociais. No entanto, ler um resumo visual não substitui a leitura do resumo real do artigo, ou menos ainda a leitura do texto completo, razão pela qual deve ser consistente em qualidade de descrição e interpretação adequadas com os resumos e textos completos em saúde. Clínicos devem ter cuidado ao tomar decisões clínicas baseadas em resumos, que são muitas vezes distorcidos em comunicados de imprensa e coberturas de notícias. A maioria do ‘spin’ detectado é de responsabilidade dos próprios autores, editores e revisores de revistas, assim como disseminadores de pesquisa que utilizam mídias sociais. A descrição e interpretação adequadas de resumos e textos completos fazem parte do código de conduta e princípios de integridade em pesquisa, o que inclui honestidade, confiabilidade, objetividade, imparcialidade, comunicação aberta, dever de cuidado e justiça. A comunicação entre pesquisadores, o publico em geral e a mídia popular deve ser baseada em acesso aberto aos dados e referencias precisas. Portanto, as partes interessadas tem a obrigação de seguir os princípios de ética em pesquisa (incluindo diretrizes de ética em descrição de dados), mediante a condução de um estudo, publicação e disseminação de resultados. Isso evitaria a má conduta em pesquisa que leva a retrações de publicações, o que envolve custos a fontes financiadoras e prejudica as carreiras de pesquisadores. Reduzir tais desperdícios em pesquisa é preciso e ações para mudar políticas editorias em saúde foram propostas, como: investimento de organizações financiadoras em programas de treinamento baseados em diretrizes de descrição e diretrizes de ética e integridade em pesquisa (direcionados a autores, editores e revisores de revistas); investimento no cargo de secretário de publicações (que gerenciaria devidamente estes programas de treinamento e também forneceria orientação sobre a submissão de artigos a revistas); universidades que incluam disciplinas obrigatórias de treinamento para estudantes de graduação em termos de condução de um estudo, análise estatística, descrição e interpretação; orientações em como seguir diretrizes de ética e integridade em pesquisa como parte integral de programas de doutorado; e ferramentas online e módulos de treinamento baseados em diretrizes de descrição para revisores por pares. Implicações clínicas e em pesquisa podem ser criticamente afetadas pela má descrição e distorção de dados, principalmente para pacientes e autoridades políticas. Iniciativas sobre recomendações dadas a financiadores, reguladores, revistas, instituições acadêmicas e pesquisas tem sido planejadas para reduzir o desperdício e aumentar o valor da pesquisa. Enfim, a tomada de decisão clínica baseada em pesquisa de alta qualidade deve ser uma prática comum, afim de adquirir melhor qualidade de vida em todo o mundo. Para que ações sejam tomadas para melhorar a qualidade de resumos de uma vez por todas, pretendemos desenvolver alguns editorias direcionados a chamar a atenção de todos aqueles interessados em pesquisa. Nosso objetivo principal é dividir nossos resultados com o Comitê Internacional de Editores de Revistas Médicas (International Committee of Medical Journal Editors – ICMJE) e com a Sociedade Internacional de Editores de Revistas em Fisioterapia (International Society of Physiotherapy Journal Editors – ISPJE) e chamar a atenção especialmente de editores e revisores de revistas em saúde. Esperamos que essa tese possa ser útil para melhorar a conscientização de editores e revisores de revistas, autores e leitores em termos de transparência e integridade de resumos de pesquisa em saúde e suas disseminações por todas as partes interessadas. Esperamos sinceramente que essa conscientização possa estimular a publicação de pesquisa em saúde de maior qualidade.