RISCO DE VIÉS EM REVISÕES SISTEMÁTICAS: GUIA PRÁTICO (COBE/UFSC)

CAPÍTULO 15

Apresentação e Interpretação do Risco de Viés nos Resultados e Meta-Análise

Cristine Miron Stefani, Carla Massignan, Graziela De Luca Canto

 

1. Introdução

O alto risco de viés pode ser um indicativo de super ou subestimação do verdadeiro efeito da intervenção nos resultados dos estudos individuais. Assim, quando um estudo é avaliado com alto risco de viés, pode-se inferir que seus resultados estão sujeitos a maior chance de erro na estimativa do efeito, e, portanto, possível desvio do efeito verdadeiro.¹ Essa premissa se estende aos resultados da Revisão Sistemática, como um todo, e à estimativa de efeito da meta-análise, quando estudos com alto risco de viés forem incluídos.

É imprescindível que a análise do risco de viés dos estudos incluídos na Revisão Sistemática seja claramente apresentada na seção “Resultados”, bem como interpretado seu impacto sobre a meta-análise e sobre os resultados da Revisão Sistemática.

 2. Apresentação da análise do risco de viés nos resultados da Revisão Sistemática

Depois de concluir a avaliação do risco de viés, é importante sua incorporação aos resultados da Revisão Sistemática, pois não é apropriado ignorar as fragilidades dos estudos incluídos e apresentar os resultados desconectados da análise do risco de viés.² Desse modo, sempre deve ser realizada uma descrição narrativa rigorosa do risco de viés encontrado.

Adicionalmente, pode-se ilustrar o risco de viés por meio de figuras, como gráficos de “barras ponderadas” com julgamentos de risco de viés para cada domínio (Figura 1) ou gráficos do tipo “semáforo” com o resultado para cada domínio avaliado em cada estudo incluído (Figura 2). Tabelas e quadros resumidos também podem ser adotados, bem como uma tabela com a análise detalhada do risco de viés, com respostas às perguntas de sinalização dentro de cada domínio da ferramenta utilizada, os julgamentos do risco de viés e suas respectivas justificativas.² Essa tabela detalhada, geralmente, é longa e de interesse limitado para os leitores, portanto não deve ser incluída no corpo principal da Revisão Sistemática, mas considera-se boa prática disponibilizá-la como material suplementar para referência.³

Quando, na Revisão Sistemática, constar meta-análise elaborada por meio do software RevMan 5.4⁴, um recurso interessante é apresentar o resultado da análise do risco de viés no gráfico de floresta (forest plot), ao lado das estimativas de efeito dos estudos incluídos (Figura 3). Isso permite ao leitor avaliar a confiança na estimativa de efeito individual de cada estudo em função do risco de viés, do peso atribuído a cada um e seu respectivo impacto na estimativa sumária dos estudos agrupados.^1,3

Figura 1. Apresentação dos resultados da análise do risco de viés em gráfico do tipo “barras ponderadas”, com julgamentos de risco de viés para cada domínio (ferramenta RoB 2.0)

Fonte: elaborada pelos autores a partir do software RevMan 5.4.⁴

Figura 2. Apresentação do resultado da análise do risco de viés em gráfico do tipo “semáforo” (para análise com a ferramenta RoB 2.0), com resultados individuais para cada domínio dos estudos incluídos

Fonte: elaborada pelos autores a partir do software RevMan 5.4.⁴

 

Figura 3. Apresentação do sumário da análise do risco de viés (Cochrane RoB 2.0) juntamente com o gráfico de floresta

Fonte: elaborada pelos autores a partir do software RevMan 5.4.⁴

 

É possível gerar os gráficos do tipo “barras ponderadas” e “semáforo” por meio da ferramenta robvis (visualization tool for risk of bias assessments in a systematic review)⁵, seguindo os passos:

Passo 1: Acessar o site www.riskofbias.info e clicar em robvis (link apontado pela seta):

Passo 2: Selecionar “Go to robvis tool”:

Passo 3: Fazer download do arquivo Excel com o template específico para a ferramenta utilizada. Estão disponíveis templates para o RoB 2.0, ROBINS-I, QUADAS, QUIPS e um genérico para as demais ferramentas. Neste exemplo, utilizou-se o QUIPS:

Passo 4: Preencher a planilha do template Excel com os dados da Revisão Sistemática. Não incluir espaços indevidos e seguir atentamente a forma de redigir os julgamentos (por exemplo, iniciar com letras maiúsculas) para cada domínio, a fim de evitar erros. Ressalta-se que, na ocorrência de erros de grafia, o aplicativo não lê o arquivo.

Passo 5: Carregar o arquivo Excel no robvis, clicando em (A) “Upload your data”, e depois (B) na ferramenta utilizada.

(A)

(B)

Passo 6: Fazer o upload dos dados, revisá-los e clicar em “Generate Plots”:

Passo 7: Os dois gráficos gerados podem ser baixados para uso no manuscrito do artigo, com qualidade para impressão, nos formatos .png, .jpeg, .tiff, e .eps clicando no botão “Download plot” (evidenciado pela seta). (A) gráfico do tipo “semáforo” e (B) gráfico do tipo “barras ponderadas”:

(A)

(B)

Os mesmos gráficos do tipo “barras ponderadas” e “semáforo” podem ser criados por meio do software RevMan 5.4, seguindo os passos:

Passo 1: Inicialmente, fazer download do software RevMan 5.4 pelo site https://training.cochrane.org/online-learning/core-software-cochrane-reviews/revman/revman-5-download. Escolher a opção “For Academic Use”, apontada pela seta.

Passo 2: Preencher o formulário e fazer o download do software para o sistema operacional desejado.

Passo 3: Abrir o software RevMan 5.4 e iniciar uma nova revisão clicando no ícone apontado pela seta (Create a New Review).

Passo 4:  Escolher o tipo de revisão e clicar em “next”.

Passo 5: (A) Nomear a Revisão Sistemática, clicar “next” e (B) escolher a opção “Full review”, clicar em “finish”.

(A)

(B)

Passo 6: Clicar em “Included studies”, no menu à esquerda, com o botão direito do mouse.

Passo 7: Escolher “Add study”.

Passo 8: Inserir nome e ano do estudo e clicar “finish”.

Passo 9: Repetir o processo para cada estudo incluído.

Passo 10: clicar sobre o nome do primeiro estudo, com o botão direito do mouse, e escolher “Edit study characteristics”.

 

Passo 11: Em “Risk of bias table”, clicar no símbolo das engrenagens para alterar a ferramenta do risco de viés. Como padrão, a ferramenta no RevMan 5.4 é o RoB 1.0 da Cochrane. Neste exemplo, a ferramenta RoB 2.0 foi utilizada, mas qualquer ferramenta pode ser inserida.

Passo 12: Remover os itens da ferramenta RoB 1.0 clicando no quadro “Activated”.

Passo 13: Depois de desativar os itens do RoB 1.0, (A) clicar em “Add” (apontado pela seta), (B) inserir os itens da ferramenta desejada; (C) neste exemplo, usou-se o RoB 2.0.

(A)

(B)

(C)

Passo 14: Lançar o julgamento para cada item da ferramenta, para cada estudo incluído (low, high e unclear). Para habilitar a cor amarela no gráfico, escrever algo no campo “Support for judgement”, quando a opção “unclear” for assinalada.

Passo 15: Para gerar as figuras, clicar no botão “Figures”, no menu à esquerda, com o botão direito do mouse.

Passo 16: Escolher “Add figure”.

Passo 17: (A) escolher o formato do gráfico desejado. “Risk of bias graph” gera um gráfico de (B) “barras ponderadas” e “Risk of bias summary” gera um gráfico do tipo (C) “semáforo”.

(A)

(B)

(C)

Passo 18: Para salvar a imagem, dar um duplo clique sobre ela, com o botão esquerdo do mouse, escolhendo o botão do disquete no canto superior direito da tela.

 

3. Incorporando os resultados da análise do risco de viés na meta-análise

A decisão de incluir, ou não, estudos com alto risco de viés na meta-análise pode ser um dilema. Incluir apenas estudos com baixo risco de viés proporciona resultados não tendenciosos, porém, menos precisos do que se todos os estudos disponíveis forem incluídos. Por outro lado, incluir estudos com alto risco de viés pode acarretar resultados precisos (intervalo de confiança estreito), que não são válidos (verdadeiros).^2,3 Assim, é importante tomar a decisão a priori acerca da inclusão ou não de estudos com alto risco de viés na meta-análise, registrando a decisão no protocolo.

Dessa forma, é possível incluir estudos primários com alto risco de viés na meta-análise, desde que haja avaliação criteriosa do impacto desses estudos sobre o resultado por meio da aplicação de métodos meta-analíticos.⁶ A abordagem mais simples para incorporar avaliações de risco de viés nos resultados da meta-análise é apresentar a estimativa de efeito da intervenção incluindo todos os estudos disponíveis, junto com a descrição do risco de viés nos domínios individuais da ferramenta, ou uma descrição do risco global de viés de cada estudo.  Contudo, essa opção só é adequada quando todos os estudos apresentam risco de viés semelhante. Ao contrário, quando os estudos incluídos apresentam diferentes riscos de viés, apenas a descrição narrativa do risco de viés na seção “Resultados” não é suficiente, mesmo que acompanhada de interpretação cautelosa na seção “Discussão”.³

Ainda que descrito e discutido, muitas vezes, os autores, erroneamente, suprimem o impacto do risco de viés nas conclusões e no resumo da Revisão Sistemática, de modo que a interpretação final da meta-análise ignora o risco de viés e as decisões continuam a se basear, pelo menos em parte, em evidências comprometidas. Além disso, a descrição narrativa falha ao omitir o peso dos estudos com alto risco de viés e, portanto, levará a um efeito geral da intervenção que é muito preciso, embora potencialmente tendencioso.³

Portanto, ao realizar e apresentar meta-análises em que estudos com diferentes riscos de viés foram considerados, os autores da Revisão Sistemática devem, obrigatoriamente, utilizar estratégias adicionais para analisar o impacto do risco de viés nos resultados³, uma vez que, para a meta-análise, a avaliação do risco de viés pode ser mais importante do que (ou tão importante quanto) os resultados agrupados dos estudos incluídos.⁷

Estratégias adequadas para abordar o risco de viés nos resultados de estudos incluídos em uma meta-análise são imprescindíveis tanto para entender o impacto do viés quanto para determinar uma estimativa adequada do efeito da intervenção.³ A seguir serão abordadas algumas das estratégias possíveis.

3.1. Análise de sensibilidade

Dentre as estratégias disponíveis, a análise de sensibilidade é uma das mais importantes. Consiste em remover estudos com alto risco de viés da meta-análise, a fim de avaliar o impacto sobre o resultado e as conclusões.³

Submetendo a meta-análise representada na Figura 3 à análise de sensibilidade, após remoção dos estudos avaliados com alto risco de viés (estudos 4 e 5), pode-se observar alteração da estimativa sumária de efeito dos estudos agrupados, com o diamante cruzando a linha do efeito nulo (Figura 4).

É importante enfatizar que a análise de sensibilidade não consiste em apresentar várias versões da mesma meta-análise. Deve-se discutir a diferença entre o resultado da meta-análise ao incluir todos os estudos e o resultado com apenas os estudos com baixo risco de viés, entretanto apresentar várias versões do mesmo gráfico de floresta pode confundir os leitores no processo de decisão sobre a intervenção ou associação em análise.²

Portanto, deve-se: 1) decidir, na etapa de protocolo, a estratégia de análise primária (excluindo ou mantendo estudos com alto risco de viés – ressalta-se que a última é mais universalmente aceita); 2) apresentar a meta-análise conforme o planejado; e 3) discutir no texto o impacto dessa decisão sobre os resultados, considerando a análise de sensibilidade.

Figura 4. Resultado da análise de sensibilidade, após a remoção dos estudos com alto risco de viés da meta-análise (estudos 4 e 5, evidenciados em vermelho), demonstrando o impacto sobre a estimativa sumária de efeito (evidenciada em azul)

Fonte: elaborada pelos autores a partir do software RevMan 5.4.⁴

 

3.2. Outras abordagens para incorporação do viés na meta-análise

Outras abordagens para incorporação da avaliação do risco de viés na meta-análise incluem^2,3,8:

• Análise estratificada: consiste em apresentar os resultados de cada estudo, no gráfico de floresta estratificados (ordenados), por risco de viés, permitindo que os leitores vejam os julgamentos e o peso das evidências em cada nível com mais facilidade (Figura 5). O mais usual é ordenar de acordo com o risco global de viés dos estudos (overall risk of bias), mas outros domínios das ferramentas podem ser escolhidos, por exemplo, se houver desconfiança de que viés advindo do processo de randomização influenciou os resultados.
• Análise de subgrupos: envolve dividir os dados dos estudos em subgrupos, geralmente, para permitir comparações, sendo considerada outra forma de estratificação. Para interpretação do impacto do risco de viés, deve-se agrupar os estudos de acordo com a classificação global de risco de viés (overall risk of bias), de forma que um resultado parcial para cada subgrupo de estudos seja calculado na meta-análise e o efeito dos diferentes níveis de viés possa ser comparado (Figura 6).
• Metarregressão: trata-se de extensão da análise de subgrupos para investigação do efeito de características contínuas ou categóricas sobre os resultados da meta-análise. É semelhante às regressões simples, quando uma variável de desfecho é prevista de acordo com os valores de uma ou mais variáveis ​​explicativas. Na metarregressão, a variável de desfecho é a estimativa do efeito (como o risco relativo, por exemplo). As variáveis ​​explicativas são características de estudos que podem influenciar o tamanho do efeito da intervenção, também conhecidas como “modificadores de efeito” ou covariáveis. Nesse exemplo, o risco de viés dos estudos seria considerado a covariável.

A Figura 7 demonstra o uso de metarregressão para análise do impacto da qualidade metodológica sobre o desfecho em análise. Para a realização de metarregressão são necessários, ao menos, 10 estudos incluídos na meta-análise, portanto, deve-se ter cautela no planejamento e execução dessa análise, porque, pode não haver estudos suficientes em cada categoria de risco de viés para identificar diferenças significativas. E a falta de diferença estatística significativa não deve ser interpretada como ausência de impacto sobre os resultados da meta-análise, porque esse tipo de análise apresenta baixo poder estatístico.

• Redução do peso dos estudos com alto risco de viés: pressupõe reduzir o peso dado aos estudos com alto risco de viés na meta-análise, de forma que tenham menos impacto no efeito combinado. Tla ajuste é, geralmente, realizado dentro de uma abordagem bayesiana, com suposições sobre o tamanho da tendência e sua incerteza sendo expressa por meio de distribuições a priori baseadas na opinião de especialistas ou em achados meta-epidemiológicos. Embora cada vez mais adotado na tomada de decisão, as suposições exigidas são consideráveis e a experiência metodológica limitada, não havendo método estatístico seguro para o cálculo do peso mais adequado, assim, embora esta pareça a abordagem ideal, ainda não é recomendada.

Figura 5. Gráfico de floresta demonstrando a apresentação estratificada dos estudos incluídos, ordenados conforme o resultado da avaliação do risco de viés global de cada estudo (overall risk of bias, no destaque)

Fonte: elaborada pelos autores a partir do software RevMan 5.4.⁴

 

Figura 6. Exemplo de aplicação de análise de subgrupos para incorporação da avaliação do risco de viés nos resultados da meta-análise

Fonte: elaborada pelos autores a partir do software RevMan 5.4.⁴

 

Figura 7. Exemplo de aplicação de metarregressão para incorporação da avaliação da qualidade metodológica aos resultados da Revisão Sistemática

Fonte: extraída de Burn et al.⁹

4. Considerações finais

Embora altamente desejável, a incorporação da análise do risco de viés nos resultados e na meta-análise das Revisões Sistemáticas nem sempre acontece. Um estudo de 2015, com 200 Revisões Sistemáticas com meta-análise, identificou que apenas 14% realizaram análise de sensibilidade como forma de avaliar o impacto do risco de viés sobre os resultados da meta-análise.¹⁰

Da mesma forma, um estudo desenvolvido pela equipe COBE (no prelo), com 303 Revisões Sistemáticas de intervenção na área da saúde publicadas entre 2019 e 2020, observou que 8% sequer avaliaram a qualidade metodológica ou o risco de viés dos estudos incluídos. Das 278 que avaliaram, menos de 50% discutiram o impacto da análise de viés sobre os resultados da revisão e 7% não apresentaram os resultados da análise do risco de viés em qualquer seção do artigo. Das 214 revisões que fizeram meta-análise, apenas 25% analisaram o impacto do risco de viés sobre os resultados, a maioria por meio de análise de sensibilidade (17%).¹¹

Portanto, cabe reforçar a importância que tais análises de impacto do risco de viés sobre os resultados sejam incorporadas às Revisões Sistemáticas, de forma a aumentar a transparência e confiança nos resultados obtidos.

 

Referências

1. Travers MJ, Murphy MC, Debenham JR, Chivers P, Bulsara MK, Bagg MK, et al. Should this systematic review and meta-analysis change my practice? Part 2: exploring the role of the comparator, diversity, risk of bias and confidence. Br J Sports Med [Internet]. 2019 Dec [cited 2021 Aug 05];53(23):1493-7. Available from: https://doi.org/10.1136/bjsports-2018-099959
2. Page MJ, Higgins J, Sambunjak D, Cumpston M, Watts C. Introduction to study quality and risk of bias. In: Cochrane Interactive Learning: Conducting an intervention review [Internet]. [London]: Cochrane; 2017. [cited 2021 Aug 05]. Module 5. Available from https://training.cochrane.org/interactivelearning/module-5-introduction-study-quality-and-risk-bias.
3. Boutron I, Page MJ, Higgins JPT, Altman DG, Lundh A, Hróbjartsson A. Considering bias and conflicts of interest among the included studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.2. London: Cochrane, 2021. [cited 2021 Jul 29]. Chapter 7. Available from: https://training.cochrane.org/handbook/current/chapter-07
4. RevMan (Review Manager). Version 5.4 [Software]. The Cochrane Collaboration. 2020 [cited 2021 Aug 04]. Available from: https://training.cochrane.org/online-learning/core-software-cochrane-reviews/revman
5. McGuinness, LA, Higgins, JPT. Risk-of-bias VISualization (robvis): An R package and Shiny web app for visualizing risk-of-bias assessments. Res Syn Meth [Internet]. 2021 Jan [cited 2021 Aug 04]; 1-7. Available from: https://doi.org/10.1002/jrsm.1411.
6. Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. Introduction to meta-analysis. [New Jersey (US): John Wiley & Sons; 2021. 544 p.
7. Gao Z-Y. More important thing beyond the pooled results in meta-analysis: risk of b Urol Int [Internet]. 2017 Mar [cited 2021 Aug 05];99(1):124-5. Available from: https://doi.org/10.1159/000464474
8. Deeks JJ, Higgins JPT, Altman DG, editors. Analysing data and undertaking meta-analyses. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al, editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.2. London: Cochrane, 2021. [cited 2021 Aug 05]. Chapter 10. Available from: https://training.cochrane.org/handbook/current/chapter-10
9. Burn NL, Weston M, Maguire N, Atkinson G, Weston KL. Effects of workplace-based physical activity interventions on cardiorespiratory fitness: a systematic review and meta-analysis of controlled t Sports Med [Internet]. 2019 Aug [cited 2021 Aug 05];49(8):1255-1274. Available from: https://doi.org/10.1007/s40279-019-01125-6
10. Johnson BT, Low RE, MacDonald HV. Panning for the gold in health research: incorporating studies’ methodological quality in meta-analysis. Psychol Health [Internet]. 2015 Jan [cited 2021 Aug 05];30(1):135-52. Available from: https://doi.org/10.1080/08870446.2014.953533
11. Stefani CM, Honnef LR, Oliveira LB, Lopes NC, Oliveira JMD, Massignan C, et al. Methodologic quality and risk-of-bias in systematic reviews of healthcare interventions: a methodologic review. No prelo. 2021.