RISCO DE VIÉS EM REVISÕES SISTEMÁTICAS: GUIA PRÁTICO (COBE/UFSC)

CAPÍTULO 1

Introdução à Análise do Risco de Viés em Revisões Sistemáticas

Carla Massignan, Cristine Miron Stefani, Graziela De Luca Canto

1. Risco de viés e qualidade metodológica em uma Revisão Sistemática

Revisões Sistemáticas (RS) têm por objetivo reunir todas as evidências que se enquadram em critérios de elegibilidade predefinidos, a fim de responder uma pergunta focada. Para isso, usam métodos explícitos e sistemáticos, visando minimizar o viés, fornecendo resultados confiáveis e ​​facilitando a tomada de decisão¹. O método para desenvolvimento de RS é altamente estruturado, transparente e reproduzível; pressupõe definição a priori de uma questão de pesquisa, critérios de elegibilidade estritos, busca ampla na literatura para encontrar todas as pesquisas que respondam à pergunta formulada, avaliação e consideração do impacto do viés nos estudos incluídos e análise dos achados, com o intuito de tirar conclusões com base em todas as pesquisas identificadas, de forma imparcial e objetiva².

Portanto, a análise do risco de viés (eventualmente substituída por análise da qualidade metodológica) dos estudos incluídos na revisão é parte do método de desenvolvimento de RS, usualmente, realizada após a etapa de extração de dados e antes da síntese quantitativa (meta-análise) e análise da certeza da evidência gerada (Figura 1).

Figura 1. Etapas do desenvolvimento de uma Revisão Sistemática demonstrando o momento da análise do risco de viés/qualidade metodológica dos estudos incluídos

Fonte: elaborada pelos autores.

Viés é qualquer erro sistemático que ameaça a validade interna de um estudo, podendo levar à subestimação ou superestimação do verdadeiro efeito da intervenção e variar em magnitude, alguns são pequenos (pouco importantes em relação ao efeito observado) e outros são significativos (o efeito observado pode ser devido ao viés)³.

Além disso, vieses podem ser tanto oriundos dos estudos primários incluídos quanto de questões inerentes à metodologia da RS³, sendo que os autores devem tentar minimizá-los e avaliar aqueles que não puderem ser evitados, demonstrando claramente, para os leitores, as limitações encontradas em decorrência dos estudos incluídos e da própria RS e como estas impactam os resultados.

Neste livro, objetiva-se apresentar os princípios gerais de avaliação do risco de viés/qualidade metodológica, as ferramentas mais frequentemente empregadas com essa finalidade, formas de apresentação dos resultados da análise e sua incorporação nos resultados e conclusões da RS de estudos epidemiológicos (Quadro 1). No entanto, não se pretende esgotar o assunto sobre ferramentas para avaliação de qualidade metodológica e risco de viés, nem abordar ferramentas para análise da qualidade metodológica ou do risco de viés em estudos pré-clínicos (estudos em animais e estudos in vitro).

Ademais, cabe ressaltar que as traduções das ferramentas para a língua portuguesa, apresentadas nos capítulos, são versões livres, não validadas, visando apenas simplificar a compreensão do leitor. Portanto, no momento da utilização, a versão oficial da ferramenta no idioma original (língua inglesa) deverá ser empregada.

2. Desenhos dos estudos incluídos em Revisões Sistemáticas

As pesquisas realizadas em seres humanos admitem diferentes desenhos de estudo, contudo, uma hierarquia simples pode ser usada para categorizar a maioria dos estudos clínicos (Figura 2)⁴. O desenho envolve a identificação do método utilizado para responder à pergunta de pesquisa, considera o tipo de população e a amostra, a unidade de análise, a existência ou não de uma intervenção intencional sobre uma condição, a existência e o tipo de seguimento dos indivíduos, entre outras características.

Figura 2. Desenhos de estudos

Fonte: adaptada de Grimes e Schulz.⁴

Sinteticamente, os estudos em saúde podem ser observacionais, quando a equipe de pesquisa não interfere na amostra, ou experimentais, quando se planeja a intervenção que será testada a partir da exposição intencional da amostra, sendo estes chamados também de estudos de intervenção ou ensaios clínicos e classificados em randomizados (a amostra é distribuída entre os grupos de forma aleatória) ou não randomizados.⁴

Os estudos observacionais podem contemplar ou não uma comparação entre grupos. Quando não há grupo comparador, chamam-se estudos descritivos, compreendendo relatos e séries de casos clínicos. Já os que possuem comparação, os estudos analíticos, são classificados de acordo com a unidade de observação. Se a unidade de observação é um grupo de indivíduos, considerados de acordo com a unidade geopolítica (como países, regiões, municípios), denomina-se estudo ecológico. Quando a unidade de observação é composta por indivíduos (como adultos, gestantes, diabéticos), os estudos são classificados como transversal, caso-controle ou coorte, de acordo com a temporalidade da análise de exposição e desfecho⁴.

Cabe ressaltar que cada desenho de estudo apresenta características particulares e está sujeito a vieses específicos. Uma caracterização mais detalhada dos Estudos de Intervenção Randomizados, Estudos de Intervenção Não Randomizados e dos Estudos Observacionais com possíveis fontes de vieses é apresentada nos Capítulos 2, 3 e 4 , respectivamente. Para além da classificação apresentada na Figura 2, existem estudos de diagnóstico e de prognóstico que podem assumir desenhos diversos e estão sujeitos às mesmas fontes de vieses, portanto, não serão apresentados de maneira individualizada.

Há diversas ferramentas para análise da qualidade metodológica e do risco de viés disponíveis na literatura, cada qual desenvolvida especificamente para determinado desenho de estudo.⁵ Como a escolha da ferramenta mais adequada depende, diretamente, do desenho dos estudos incluídos na RS, recomenda-se que a equipe de revisores reclassifique os estudos incluídos antes de iniciar a análise, não confiando unicamente na classificação fornecida pelos autores dos estudos primários.

O Quadro 1 elenca as ferramentas que serão apresentadas neste livro, organizando-as de acordo com os tipos mais frequentes de RS e respectivos desenhos de estudo incluídos.

Quadro 1. Ferramentas para avaliação da qualidade metodológica ou risco de viés que serão abordadas neste livro, conforme o tipo de revisão sistemática e desenho dos estudos incluídos

Tipos de Revisão Sistemática e desenhos de estudo incluídos	Ferramentas para risco de viés	Ferramentas para qualidade metodológica
Revisão Sistemática de Intervenção Estudos incluídos: Ensaios Clínicos Randomizados (ECR) Estudos incluídos: Estudos de Intervenção Não Randomizados (EINR)	RoB 2.0 (Capítulo 5) ROBINS-I (Capítulo 7)	Escala Jadad Escala PEDro (Capítulo 6)
Revisão Sistemática de Acurácia de Testes Diagnósticos Estudos incluídos: de diagnóstico (admitem diferentes desenhos de estudo)	QUADAS-2 (Capítulo 8)
Revisão Sistemática de Prognóstico Estudos incluídos: de prognóstico (admitem diferentes desenhos de estudo)	QUIPS (Capítulo 9)
Revisão Sistemática de Estudos Observacionais (associação, fator de risco e prevalência) Estudos incluídos: coorte, caso-controle Estudos incluídos: coorte, caso-controle, transversal Estudos incluídos: prevalência		NOS (Capítulo 10) JBI (Capítulo 11) JBI (Capítulo 12)
Revisão de Revisões (Overview ou Umbrella Review) Estudos incluídos: revisões sistemáticas	ROBIS (Capítulo 13)	AMSTAR 2 (Capítulo 14)

Fonte: elaborado pelos autores.

3. Conceitos norteadores

Esta seção introduz conceitos importantes que serão abordados ao longo deste livro.

Viés: é um erro sistemático que pode ser introduzido em qualquer etapa de um estudo, levando a distorções no seu resultado, e, portanto, ameaçando a validade interna. De forma geral, esse erro é não intencional e pode estar relacionado à não possibilidade prática de solução, bem como à não percepção do erro por parte dos pesquisadores.⁶

Validade interna: é o grau de confiabilidade de que as conclusões de um estudo são válidas para a amostra estudada, por exemplo, a comparabilidade dos grupos estudados e a precisão do diagnóstico.⁶

Validade Externa: refere-se à aplicabilidade das conclusões de um estudo à população de onde a amostra foi retirada ou a outras populações.⁶

 Avaliadores: neste livro, são os autores que farão a análise da qualidade metodológica ou do risco de viés dos estudos incluídos na RS.

Ferramenta: instrumento organizado por domínios, escala ou checklist contendo perguntas, de acordo com o desenho de estudo, com o objetivo de avaliar a qualidade metodológica ou o risco de viés.⁷

Guia de redação: é uma lista de verificação, diagrama de fluxo ou texto estruturado para orientar os autores no relato de um tipo específico de pesquisa, desenvolvido a partir de metodologia explícita.⁸

4. Diferença entre análise da qualidade metodológica e do risco de viés

Segundo Sterne et al.⁹, a qualidade metodológica, embora ainda não bem definida, pode incluir características de condução do estudo com alto padrão metodológico, por exemplo, fazer o cálculo amostral, seguir preceitos éticos ou usar guia de redação para escrever o artigo.¹⁰ Não envolve, necessariamente, a avaliação da validade interna do estudo e nem saber se este foi conduzido de forma a evitar o erro sistemático no desenho, na condução ou na análise estatística, obstando a distorção do resultado.¹⁰

Muitas ferramentas que avaliam a qualidade metodológica se apresentam como escalas ou checklists¹¹, que podem ou não gerar um escore final para uma série de perguntas aplicadas aos estudos.¹⁰ Muitas vezes, tais escalas e checklists incluem perguntas que não se referem à validade interna, por exemplo o cálculo amostral, que estaria mais relacionado à precisão do resultado do que propriamente à validade interna.¹²

Já no que se refere à avaliação do risco de viés, esta implica em uma análise crítica que expõe possíveis falhas que ameaçam a validade interna do estudo e que, para sua aplicação e avaliação, pode se apoiar em citações de fontes que descrevem o estudo (por exemplo, registro do protocolo e relatório dos resultados).⁹  Segundo a Colaboração Cochrane³, uma ferramenta que foca em um único conceito, o de risco de viés, não considerando outros aspectos, como qualidade do relato, precisão (até que ponto os resultados estão livres de erros aleatórios) ou validade externa (objetividade, aplicabilidade ou generalização), é considerada ferramenta de avaliação de risco de viés.

Como a literatura apresenta tanto ferramentas que avaliam qualidade metodológica quanto as que avaliam risco de viés, o presente livro sintetiza o uso de ambas, auxiliando o leitor na escolha e aplicação da ferramenta que mais se adequa ao desenho de estudo incluído na RS.

A decisão de qual ferramenta escolher (qualidade metodológica ou risco de viés) vai depender do delineamento dos estudos incluídos e das ferramentas disponíveis na literatura. Havendo opção de escolha, a sugestão é utilizar as de avaliação de risco de viés, ou seja, baseadas nos componentes de avaliação da validade interna.¹³

No entanto, cabe destacar que as ferramentas para avaliar a qualidade metodológica ou risco de viés e os guias de redação (por exemplo, STROBE, CONSORT e SPIRIT) têm propósitos diferentes, sendo que os guias de redação servem para orientar o relato do estudo, ou seja, a construção do artigo científico¹³, e não para avaliar a qualidade metodológica. Mais informações sobre guias de redação podem ser obtidas acessando o site EQUATOR Network.⁸

5. Análise da qualidade metodológica ou do risco de viés na prática

Os passos essenciais para proceder a avaliação da qualidade metodológica ou do risco de viés, na prática, estão dispostos na Figura 3.

Figura 3. Passos fundamentais para a análise da qualidade metodológica ou do risco de viés em Revisões Sistemáticas da literatura

Fonte: elaborada pelos autores.

Resumidamente, compreendem:

 Passo 1 – Leitura e estudo do artigo completo da ferramenta escolhida

Antes de começar o processo de avaliação da qualidade metodológica ou do risco de viés, os membros da equipe que atuarão como avaliadores devem estudar e discutir o artigo com diretrizes da ferramenta que será aplicada, bem como outros documentos com explicações ou orientações adicionais, caso disponíveis. Ressalta-se que a leitura dos capítulos deste livro não substitui a leitura dos documentos originais das ferramentas.

Passo 2 – Estabelecimento de parâmetros de avaliação, treinamento e calibração entre os avaliadores

Para melhorar a confiabilidade do julgamento, deve-se fazer um treinamento seguido de um piloto com a avaliação de alguns estudos (de três a seis), para calibração da equipe. Esse procedimento permite que o entendimento dos avaliadores seja o mesmo, por exemplo, quanto ao intervalo apropriado entre os testes índice e o padrão de referência apresentado na ferramenta QUADAS-2 para estudos de diagnóstico¹⁴, que vai depender da condição avaliada, diferindo entre gravidez e apneia do sono.² Ou seja, é fundamental o treinamento e o estabelecimento de parâmetros entre os avaliadores antes do início da aplicação da ferramenta, sendo opcional a estatística de concordância.³

 Passo 3 – Análise independente por no mínimo dois avaliadores

Pelo menos dois membros da equipe de pesquisa devem fazer a avaliação da qualidade metodológica ou do risco de viés de forma independente, a fim de diminuir a possibilidade da influência do avaliador no julgamento. Essa avaliação implica na leitura atenta do artigo incluído na RS (com seus anexos) e, caso haja, leitura de outros documentos relacionados a esse estudo, como o registro do protocolo, teses e dissertações, ou relatórios de pesquisa. Eventualmente, pode ser necessário entrar em contato com os autores do estudo para conseguir informações adicionais não apresentadas no relato, o qual se dá, geralmente, por meio de e-mail.

Passo 4 – Reunião dos avaliadores para conferência e consenso

Na reunião, os avaliadores devem comparar as avaliações e discutir as divergências até chegarem a um consenso para a qualidade metodológica ou risco de viés de cada estudo incluído. Caso não haja concordância, um terceiro revisor deverá atuar como “juiz”, tomando a decisão final.

Passo 5 – Interpretação e apresentação dos resultados

A análise da qualidade metodológica ou do risco de viés implica em julgamento e, portanto, a apresentação dos resultados da análise no artigo deve ser detalhada, inclusive, constando os motivos que levaram os avaliadores a considerarem que determinado estudo apresentou baixa qualidade metodológica ou alto risco de viés. Essa apresentação é feita por meio de descrição narrativa no texto e recursos visuais, como tabelas ou figuras, sendo que uma versão mais detalhada pode ser disponibilizada como material suplementar no artigo da RS.

Ademais, os resultados da análise da qualidade metodológica ou do risco de viés devem ser incorporados na discussão e conclusões da RS, bem como, citados no resumo (abstract).

Por uma questão de transparência, todo o processo da análise deve ser relatado a priori no protocolo e, posteriormente, no artigo de RS. A ferramenta empregada para a avaliação da qualidade metodológica ou do risco de viés e a explicação de como o processo de julgamento se deu devem constar na seção “Métodos”, enquanto o resultado da análise, na seção “Resultados”; já o impacto sobre os resultados e a certeza da evidência gerada abordados, na seção “Discussão” e incorporados na “Conclusão”.³ O artigo original ou documento com as diretrizes para uso da ferramenta empregada deve ser referenciado no texto e listado nas referências da RS. Formas de apresentação e incorporação dos resultados da análise da qualidade metodológica ou do risco de viés estão descritas nos Capítulos 15, 16 e 17.

 6. Considerações finais

A presença de vieses pode desviar os resultados do estudo da verdade, superestimando ou subestimando o tamanho do efeito de interesse e comprometendo sua validade interna. Assim, avaliar a qualidade metodológica ou o risco de viés dos estudos incluídos na Revisão Sistemática é essencial, pois alicerça a confiança nos resultados da própria revisão.⁵

 

Referências

1. Lasserson TJ, Thomas J, Higgins JPT. Starting a review. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et a editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.2. London: Cochrane; 2021. [cited 2021 Jul 29]. Chapter 1. Available from: https://training.cochrane.org/handbook/current/chapter-01
2. De Luca Canto G. Revisões sistemáticas da literatura: guia prático. Curitiba: Brazil Publishing; 2020. 208 p.
3. Boutron I, Page MJ, Higgins JPT, Altman DG, Lundh A, Hróbjartsson A. Considering bias and conflicts of interest among the included studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.2. London: Cochrane, 2021. [cited 2021 Jul 29]. Chapter 7. Available from: https://training.cochrane.org/handbook/current/chapter-07
4. Grimes DA, Schulz KF. An overview of clinical research: the lay of the land. Lancet [Internet]. 2002 Jan [cited 2021 Jul 29];359(9300):57–61. Available from: https://doi.org/10.1016/S0140-6736(02)07283-5
5. Sterne JA, Hernán MA, Reeves BC, Savović J, Berkman ND, Viswanathan M, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ [Internet]. 2016 Oct [cited 2021 Jul 29];355:i4919. Available from: https://www.bmj.com/lookup/doi/10.1136/bmj.i4919
6. Pereira MG. Epidemiologia: teoria e prática. Rio de Janeiro: Guanabara Koogan; 1995. 576 p.
7. Moher D, Jadad AR, Tugwell P. Assessing the quality of randomized controlled trials. Current issues and future directions. Int J Technol Assess Health Care [Internet]. 1996 Spring [cited 2021 Jul 29];12(2):195-208. Available from: https://doi.org/10.1017/S0266462300009570
8. EQUATOR Network [Internet]. Oxford: UK EQUATOR Centre; [cited 2021 Jul 29]. Available from: https://www.equator-network.org/about-us/what-is-a-reporting-guideline/
9. Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I, et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ [Internet]. 2019 Aug [cited 2021 Jul 29];366:l4898. Available from: https://doi.org/10.1136/bmj.l4898
10. Sanderson S, Tatt ID, Higgins JP. Tools for assessing quality and susceptibility to bias in observational studies in epidemiology: a systematic review and annotated bibliography. Int J Epidemiol [Internet]. 2007 Jun [cited 2021 Jul 29];36(3):666-76. Available from: https://doi.org/10.1093/ije/dym018
11. Olivo SA, Macedo LG, Gadotti IC, Fuentes J, Stanton T, Magee DJ. Scales to assess the quality of randomized controlled trials: a systematic review. Phys Ther [Internet]. 2008 Feb [cited 2021 Jul 29];88(2):156-75. Available from: https://doi.org/10.2522/ptj.20070147
12. Moher D, Jadad AR, Nichol G, Penman M, Tugwell P, Walsh S. Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials [Internet]. 1995 Feb [cited 2021 Jul 29];16(1):62-73. Available from: https://doi.org/10.1016/0197-2456(94)00031-w
13. Jüni P, Altman DG, Egger M. Systematic reviews in health care: assessing the quality of controlled clinical trials. BMJ [Internet]. 2001 Jul [cited 2021 Jul 29];323(7303):42-6. Available from: https://doi.org/10.1136/bmj.323.7303.42
14. Whiting PF, Rutjes AW, Westwood ME, Mallett S, Deeks JJ, Reitsma JB, et al. QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies. Ann Intern Med [Internet]. 2011 Oct [cited 2021 Jul 29];155(8):529-36. Available from: https://doi.org/10.7326/0003-4819-155-8-201110180-00009