Capítulo 16. Impactos do risco de viés sobre a certeza da evidência (abordagem GRADE)

CAPÍTULO 16

Impactos do Risco de Viés sobre a Certeza da Evidência (Abordagem GRADE)

Carolina Castro Martins, Cristine Miron Stefani, Graziela De Luca Canto

1. Introdução

Revisões Sistemáticas podem incluir estudos com diferentes qualidades metodológicas ou diferentes riscos de viés. Por isso, questiona-se se a evidência gerada pela Revisão Sistemática seria a mesma se todos os estudos incluídos apresentassem alta qualidade metodológica ou baixo risco de viés.1 Provavelmente não, porque erros metodológicos podem introduzir vieses no desfecho da pergunta clínica, na interpretação e, na evidência final, por exemplo, a confiança na estimativa de efeito diminui se os estudos que fazem parte da evidência tiverem vieses metodológicos.

O Grading of Recommendations, Assessment, Development and Evaluation (GRADE) approach, criado pelo GRADing Working Group da Cochrane, é uma ferramenta para a avaliação da certeza da evidência de Revisões Sistemáticas2, devendo ser usada para ajudar na interpretação das evidências geradas por estas.3

Ao aplicar a abordagem GRADE para essa finalidade, pode-se encontrar certeza alta, moderada, baixa ou muito baixa, de acordo com a interpretação do Quadro 1.

Quadro 1. Definições da certeza da evidência

Certeza Interpretação
Alta Novas pesquisas dificilmente mudariam a confiança na estimativa final.
Moderada Novas pesquisas podem ter um impacto importante na confiança no resultado e podem mudar a estimativa final.
Baixa É muito provável que novas pesquisas tenham um importante impacto na confiança no resultado final e, provavelmente, podem mudar a estimativa final.
Muito baixa Não há confiança que a estimativa final corresponde à real.

Fonte: adaptado de Atkins et al.1

No uso do GRADE, os ensaios clínicos controlados randomizados (ECR) começam com alta certeza da evidência, enquanto estudos de intervenção não randomizados (EINR) e estudos observacionais começam com baixa certeza da evidência. Isso ocorre, porque, em ECR, os participantes passaram por um processo de randomização, cujo objetivo é dar igual chance a todos de serem alocados no grupo de tratamento A ou B, evitando os efeitos dos fatores de confusão. Por outro lado, fatores de confusão são comuns em todos os EINR e estudos observacionais4, justamente por não terem o processo de randomização e, por consequência, começam a análise com baixa certeza da evidência.

Existe uma única exceção em que os EINR começam com alta certeza da evidência, quando as Revisões Sistemáticas que incluem esses desenhos de estudo utilizam a ferramenta ROBINS-I para avaliação do risco de viés.5 A justificativa é que, se um EINR for julgado pelo ROBINS-I como tendo baixo risco de viés, este é bem desenhado, logo, poderia equivaler a um ECR, na ausência do mesmo.5 Contudo, os autores do GRADing Working Group consideram que é muito difícil que os autores não identifiquem fatores de confusão em um EINR, portanto, dificilmente, uma avaliação do risco de viés usando o ROBINS-I resultaria em baixo risco, especialmente quando se trata do item 1, que aborda os vieses devido aos fatores de confusão (bias due to confunding).6

Assim, quando o resultado da certeza da evidência sobre a eficácia de um tratamento A sobre B, avaliada com a abordagem GRADE, é baixa ou muito baixa, como mostrado no Quadro 1, não se pode ter confiança nesse resultado. Em outras palavras, a evidência encontrada poderia ser diferente do efeito real.3

A abordagem GRADE analisa o corpo da evidência de uma Revisão Sistemática de acordo com cinco domínios que são comuns para todos os desenhos de estudo e que podem rebaixar a certeza da evidência em um ou dois níveis, sendo: risco de viés, inconsistência, evidência indireta, imprecisão e viés de publicação. No entanto, como os EINR e estudos observacionais começam com baixa certeza da evidência, a avaliação contém mais três domínios em que é possível aumentar a certeza da evidência em um ou dois níveis: gradiente dose-resposta, grande magnitude e efeito residual de outros fatores de confusão.4 Sendo assim, embora os EINR e estudos observacionais comecem com baixa certeza da evidência, se houver motivo para aumenta-la por meio de algum destes três domínios, a avaliação final da certeza da evidência poderá ser alta.

Diante disso, este capítulo abordará apenas o modo com que o risco de viés pode impactar na certeza da evidência.

2. Estratégias para lidar com o risco de viés

Para julgar o risco de viés usando a abordagem GRADE, inicialmente, é preciso fazer uma boa avaliação do risco de viés. Se uma Revisão Sistemática falhar em identificar vieses metodológicos nos estudos originais, não haverá motivos para rebaixar a certeza da evidência.

2.1. Incorporação da análise do risco de viés para julgamento da certeza da evidência

Existem três possíveis decisões a serem tomadas quando encontrados problemas no risco de viés, como pode ser observado na Figura 1.7 Quando não for detectado problema no risco de viés, não se justifica rebaixar a certeza da evidência (decisão 1). Se os problemas forem sérios, pode-se rebaixar o risco de viés em um nível (decisão 2). Mas se os problemas decorrentes do risco de viés forem muito sérios, justifica-se rebaixar a certeza da evidência em dois níveis (decisão 3).

Figura 1. Decisões a serem tomadas na certeza da evidência, de acordo com o risco de viés

Fonte: elaborada pelos autores.

2.2. Análise de sensibilidade

A análise de sensibilidade consiste em remover estudos da meta-análise e reavaliar se a evidência muda após essa remoção, sendo uma estratégia comum quando se quer saber qual o impacto dos estudos com alto risco de viés na análise.

À guisa de exemplo se tem as Figuras 2a e 2b, que representam uma meta-análise do efeito de uma droga A comparada à droga B para controle de edema pós-operatório. Nela, A foi mais eficaz para controlar o edema em relação à B (RR: 0,67; 95%IC: 0,57-0,78) (Figura 2a). No entanto, houve dois estudos avaliados com alto risco de viés, julgados pela ferramenta Cochrane RoB 2.0, por isso, a análise de sensibilidade foi realizada, a fim de verificar o impacto do risco de viés na certeza da evidência, consistindo na remoção dos dois estudos com alto risco de viés (4 e 5) da análise para checar se a estimativa final continuaria a mesma. Sendo que, na Figura 2b, após a análise de sensibilidade, a estimativa continuou a mesma, embora o RR e o 95%IC tenham mudado (RR: 0,68; 95%IC: 0,56-0,82). Portanto, pode-se concluir que o risco de viés não impactou a estimativa final, logo, não se justifica rebaixar a certeza da evidência (decisão 1 da Figura 1).

Figura 2a. Meta-análise do controle de edema pós-operatório comparando as drogas A e B

Fonte: elaborada pelos autores.

 

Figura 2b. Meta-análise, após a análise de sensibilidade e remoção dos dois estudos com alto risco de viés, do controle do edema pós-operatório comparando as drogas A e B

Fonte: elaborada pelos autores.

Já na Figura 3a, há uma comparação da droga A com a droga B para evitar morte em decorrência de determinada doença. A estimativa final mostra que a droga A é mais eficaz para evitar a mortalidade que a droga B (RR: 0,61; 95%IC: 0,39-0,94). Mas, como existem dois estudos com alto risco de viés (4 e 5), foi realizada a análise de sensibilidade com a remoção dos mesmos, dessa forma, a estimativa cruzou a linha de efeito nulo, mostrando que a droga A pode ser superior ou similar à droga B (RR: 0,77; 95%IC: 0,43-1,37) (Figura 3b). Ou seja, nesse caso, a remoção dos dois estudos com alto risco de viés mudou a estimativa e o intervalo de confiança, evidenciando um problema de risco de viés. Assim, pode-se rebaixar a certeza da evidência em pelo menos um nível (decisão 2 da Figura 1).

Figura 3a. Meta-análise mostrando a redução da mortalidade por determinada doença comparando as drogas A e B

Fonte: elaborada pelos autores.

Figura 3b. Meta-análise, após a análise de sensibilidade e remoção dos dois estudos com alto risco de viés, mostrando a redução da mortalidade por determinada doença comparando as drogas A e B

Fonte: elaborada pelos autores.

Se no exemplo das Figuras 3a e 3b, após a análise de sensibilidade, a estimativa favorecer totalmente a droga B, então, a certeza da evidência poderá ser rebaixada em dois níveis (decisão 3 da Figura 1).

Quando uma Revisão Sistemática de intervenção inclui Estudos Não Randomizados ou estudos observacionais, é esperado que todos apresentem algum risco de viés. Nesse caso, a análise de sensibilidade não faria sentido, pois consistiria em remover todos os estudos da análise. Portanto, cabe aos revisores julgarem se os problemas de risco de viés são suficientemente sérios para rebaixar a certeza da evidência em um ou dois níveis.

3. Impacto do risco de viés na certeza da evidência

Para finalizar, dois exemplos de como o risco de viés pode impactar a certeza da evidência e a interpretação final da evidência são apresentados. Uma RS de estudos observacionais e uma de estudos de intervenção demonstram como a falha em identificar o risco de viés pode afetar a certeza da evidência final e, consequentemente, a interpretação final da Revisão Sistemática (Quadros 2 e 3).

Quadro 2. Impacto na certeza da evidência em Revisão Sistemática de estudos observacionais decorrente da falta de avaliação do risco de viés

Apresentação da Revisão Sistemática
Uma Revisão Sistemática publicada na Environmental Health Perspectives avaliou o efeito neurotóxico do flúor na água de beber. O objetivo era comparar indivíduos moradores de comunidades rurais com acesso à água com alto teor de fluoreto versus indivíduos moradores de comunidades com água com teores ótimos de fluoreto, sendo que as comunidades com altos teores na água eram de zonas rurais da China e Irã.

Foram incluídos 27 estudos prospectivos cujos participantes foram submetidos a testes de coeficientes de inteligência (o teste de QI). A meta-análise mostrou que o grupo de indivíduos moradores das áreas com altos teores de fluoreto tiveram menores escores do teste de QI quando comparados aos indivíduos expostos à água otimamente fluoretada (diferença média padrão: -0,45; 95%IC: -0,56; -0,34). Os autores concluíram sobre o possível efeito adverso do fluoreto no desenvolvimento neurocognitivo de crianças.8

Análise crítica sobre o impacto do risco de viés na interpretação final da evidência
O grande problema dessa Revisão Sistemática é que os autores não avaliaram o risco de viés. Se eles o tivessem feito, poderiam detectar, pelo menos, dois fatores de confusão, o nível socioeconômico e a renda. As comunidades com alto teor de fluoreto na água são localizadas em zonas rurais, sem escolas por perto, nem bibliotecas ou internet, e a renda das famílias é, geralmente, baixa.9

Se a certeza da evidência tivesse sido rebaixada em, pelo menos, um nível por risco de viés, seria classificada como muito baixa, uma vez que, para estudos observacionais, já começaria com baixa certeza. No entanto, poder-se-ia rebaixá-la em dois níveis, pois existem dois fatores de confusão identificados (renda e educação), o que torna o problema de risco de viés muito sério. Assim, com baixíssima certeza da evidência, o possível efeito neurotóxico do fluoreto em crianças é incerto.

Fonte: elaborado pelos autores.

Quadro 3. Impacto na certeza da evidência em Revisão Sistemática de intervenção decorrente da falta de avaliação do risco de viés

Apresentação da Revisão Sistemática
Uma Revisão Sistemática da Cochrane avaliou a eficácia da cloroquina e da hidroxicloroquina (HCQ) em pacientes com Covid-19, quando comparados ao tratamento controle. Foram incluídos 14 ECR. Neles, os autores concluíram que a HCQ tem pouco ou nenhum efeito no risco de morte por qualquer causa (alta certeza, RR: 1,09; 95%IC: 0,99-1.19) e, provavelmente, nenhum efeito sobre a progressão da ventilação mecânica (moderada certeza, RR: 1,11; 95%IC: 0,91-1,37). Os efeitos adversos são três vezes maiores do que o placebo para pacientes hospitalizados (certeza moderada, RR; 2,90; 95%IC: 1,49-5,64), mas pouquíssimos efeitos adversos sérios foram encontrados (baixa certeza, RR: 0,82; 95%IC: 0,37-1,79).

Dessa forma, os autores rebaixaram a certeza da evidência por risco de viés em um nível apenas para efeitos adversos em pacientes hospitalizados, pois, todos os seis estudos que compunham a evidência tinham algum problema no risco de viés, como: viés de seleção de resultados, viés de performance, viés de detecção.10

Análise crítica sobre o impacto do risco de viés na interpretação final da evidência
O risco de viés poderia ter sido julgado de maneira mais criteriosa. Ao todo, 11 de 14 estudos apresentavam alto risco de viés em algum item da escala original RoB da Cochrane, sendo nove com alto risco de viés em dois ou mais itens. Dois estudos apresentavam risco incerto para um ou dois itens e apenas um estudo apresentou baixo risco de viés para todos os itens. Além disso, existem dois problemas críticos no risco de viés que não foram considerados para avaliar a certeza da evidência: 1) 10 estudos apresentaram alto risco de viés por viés de seleção de resultados e por relatarem desfechos que desviavam do protocolo original; 2) Os autores não detectaram cointervenções, as quais poderiam ser facilmente detectadas com a nova ferramenta RoB 2.0 ou julgadas como “outros vieses” na escala RoB original.

Ademais, tabelas suplementares mostram 12 de 14 estudos incluindo pacientes com algum tipo de comorbidade (por exemplo, problemas cardíacos, hipertensão, diabetes, HIV, obesidade, câncer, doenças renais crônicas, doenças respiratórias ou neurológicas). Dois outros estudos não relatam comorbidades. Os pacientes com comorbidades, provavelmente, já faziam uso sistêmico de outras drogas antes de contraírem o Covid-19, sendo assim, eles foram expostos a outras drogas (cointervenção).

Se o risco de viés fosse julgado de forma mais criteriosa, a certeza da evidência deveria ser rebaixada por risco de viés em um ou até dois níveis para todos os desfechos, pois havia problemas de alto risco de viés em mais de um item da ferramenta RoB da Cochrane. Logo, a certeza da evidência final seria baixa para a maioria dos desfechos. Sendo assim, não se tem certeza se é apenas a HCQ responsável pela mortalidade e efeitos adversos ou todo o coquetel de drogas administradas aos pacientes.

Fonte: elaborado pelos autores.

 

Referências

  1. Atkins D, Best D, Briss PA, Eccles M, Falck-Ytter Y, Flottorp S, et al. Grading quality of evidence and strength of recommendations. BMJ [Internet]. 2004 Jun [cited 2021 Aug 05]; 328(7454):1490. Available from: https://doi.org/10.1136/bmj.328.7454.1490
  2. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, Alonso-Coello P, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ [Internet]. 2008 Apr [cited 2021 Aug 05]; 336(7650):924-6. Available from: https://doi.org/10.1136/bmj.39489.470347.ad
  3. Santesso N, Glenton C, Dahm P, Garner P, Akl EA, Alper B, et al. GRADE guidelines 26: informative statements to communicate the findings of systematic reviews of interventions. J Clin Epidemiol [Internet]. 2020 Mar [cited 2021 Aug 05];119:126-135. Available from: https://doi.org/10.1016/j.jclinepi.2019.10.014
  4. Zhang Y, Akl EA, Schünemann HJ. Using systematic reviews in guideline development: The GRADE approach. Res Synth Methods [Internet]. 2018 Jul [cited 2021 Aug 05]; 1-18. Available from: https://doi.org/10.1002/jrsm.1313
  5. Schünemann HJ, Cuello C, Akl EA, Mustafa RA, Meerpohl JJ, Thayer K, et al. GRADE guidelines: 18. How ROBINS-I and other tools to assess risk of bias in nonrandomized studies should be used to rate the certainty of a body of evidence. J Clin Epidemiol [Internet]. 2019 Jul [cited 2021 Aug 05]; 111:105-14. Available from: https://doi.org/10.1016/j.jclinepi.2018.01.012
  6. Sterne JA, Hernán MA, Reeves BC, Savović J, Berkman ND, Viswanathan M, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ [Internet]. 2016 Oct [cited 2021 Jul 29];355:i4919. Available from: https://www.bmj.com/lookup/doi/10.1136/bmj.i4919
  7. Guyatt GH, Oxman AD, Vist G, Kunz R, Brozek J, Alonso-Coello P, et al. GRADE guidelines: 4. Rating the quality of evidence–study limitations (risk of bias). J Clin Epidemiol [Internet]. 2011 Apr [cited 2021 Aug 05]; 64(4):407-15. Available from: https://doi.org/10.1016/j.jclinepi.2010.07.017
  8. Choi AL, Sun G, Zhang Y, Grandjean P. Developmental Fluoride Neurotoxicity: A Systematic Review and Meta-Analysis. Environ Health Perspect [Internet]. 2012 Oct [cited 2021 Aug 05]; 120:1362-8. Available from: https://doi.org/10.1289/ehp.1104912
  9. Martins CC. O fluoreto tem efeito neurotóxico? A importância da análise crítica da informação. Fac. Odontol. Porto Alegre [Internet]. 2020 [cited 2021 Aug 05]; 61(1):1-3. Available from: https://www.seer.ufrgs.br/RevistadaFaculdadeOdontologia/article/view/106672 DOI: 10.22456/2177-0018.106672
  10. Singh B, Ryan H, Kredo T, Chaplin M, Fletcher T. Chloroquine or hydroxychloroquine for prevention and treatment of COVID-19. Cochrane Database Syst Rev [Internet]. 2021 Feb [cited 2021 Aug 05];2(2):CD013587. Available from: https://doi.org/10.1002/14651858.cd013587.pub2