RISCO DE VIÉS EM REVISÕES SISTEMÁTICAS: GUIA PRÁTICO (COBE/UFSC)

CAPÍTULO 9

 Análise do Risco de Viés de Estudos de Prognóstico com a Ferramenta QUIPS

Cristine Miron Stefani, Eliete Neves Silva Guerra, Carla Massignan, Graziela De Luca Canto

 1. Introdução

Os estudos de prognóstico incluem estudos clínicos de variáveis ​​preditivas de eventos futuros, bem como estudos epidemiológicos de fatores de risco (etiologia).¹ Dentre as razões para se conduzir estudos de prognóstico (e, consequentemente, Revisões Sistemáticas de prognóstico), elencam-se: 1) melhorar a compreensão do processo da doença; 2) melhorar a concepção e análise de ensaios clínicos (por exemplo, ao considerar a estratificação de risco dos participantes); 3) auxiliar na comparação de resultados entre grupos de tratamento em estudos não randomizados, permitindo o ajuste para combinação de casos; 4) definir grupos de risco com base no prognóstico; 5) prever o curso da doença com mais precisão ou parcimônia; e 6) orientar a tomada de decisão clínica, incluindo seleção de terapia mais personalizada e aconselhamento ao paciente.²

Estudos de prognóstico podem abarcar uma grande variedade de desenhos de estudo, inclusive, ensaios clínicos (randomizados e não randomizados), coortes, casos-controles e transversais², o que, por si só, dificulta a análise do risco de viés em Revisões Sistemáticas (RS). De fato, por muitos anos, RS de prognóstico deixaram de avaliar o risco de viés dos estudos incluídos ou desenvolveram suas próprias ferramentas.¹

Ademais, algumas particularidades dos estudos de prognóstico geram outras dificuldades para RS, por exemplo, em sua maioria, o desfecho primário é o tempo para um determinado evento e, muitas vezes, a sobrevida (global ou sobrevida livre de doença), para a qual a medida Hazard Ratio (HR) é usualmente empregada, tornam a meta-análise mais complexa do que para dados binários ou contínuos.

Além disso, regularmente, a variável preditiva de interesse é apenas uma dentre diversas variáveis ​​prognósticas. Portanto, ao examinar uma variável de interesse, os pesquisadores devem considerar outras variáveis ​​prognósticas com as quais essa pode estar associada. Por fim, muitos fatores prognósticos são variáveis ​​contínuas, para as quais os pesquisadores podem usar uma gama de métodos de interpretação e análise, muitas vezes, impossibilitando que os dados sejam meta-analisados.¹

Para padronizar e aprimorar a análise de viés de estudos de prognóstico, um grupo de trabalho organizado por pesquisadores da Universidade de Toronto (Canadá), composto por 14 membros, incluindo epidemiologistas, estatísticos e médicos de diferentes países, desenvolveu a ferramenta QUIPS (Quality In Prognosis Studies).³ O grupo partiu de um estudo prévio que identificou seis possíveis fontes de vieses nos estudos de prognóstico relacionadas com: 1) participação no estudo; 2) perda de participantes no acompanhamento; 3) mensuração dos fatores de prognóstico; 4) mensuração e controle de fatores de confusão; 5) mensuração do desfecho; e 6) abordagens de análise.⁴

Por meio de abordagem Delphi, o grupo refinou questões norteadoras para julgar os seis domínios de risco de viés e propôs classificações para as avaliações de viés de cada domínio. A ferramenta foi testada em uma Revisão Sistemática e, posteriormente, debatida por um grupo de 22 experts em um workshop e testada por 83 equipes de pesquisa que utilizaram a ferramenta em Revisões Sistemáticas, antes da apresentação da versão final³, descrita na seção subsequente.

2. Aplicação

A aplicação do QUIPS pela equipe de revisores deve seguir a organização proposta no Capítulo 1  deste livro. A ferramenta na versão mais atual, no idioma original (inglês), conforme apresentada por Hayden et al.³, está representada no Quadro 1 e a análise para cada domínio proposta pelos autores da ferramenta segue descrita abaixo.

2.1. Participação no Estudo (Study Participation)

Este domínio aborda a representatividade da amostra do estudo, levando os avaliadores a julgar se a associação relatada no estudo é uma estimativa válida da verdadeira relação entre o fator prognóstico e o desfecho de interesse na população de origem. Para fazer esse julgamento, os avaliadores consideram a proporção de pessoas elegíveis que participaram do estudo, bem como as descrições da população de origem, amostra do estudo no baseline, estrutura de amostragem e recrutamento e critérios de inclusão e exclusão.

Um estudo é considerado com risco de viés “Alto” se a taxa de participação foi baixa, a amostra do estudo apresentou distribuição de idade e sexo muito diferente da população de origem ou se uma amostra muito seletiva (em vez de consecutiva) de pacientes elegíveis foi recrutada. Por outro lado, estudos com alta participação de pacientes elegíveis e consecutivamente recrutados, com características semelhantes às da população de origem, podem ser julgados com risco de viés “Baixo”.

2.2. Atrito do Estudo (Study Attrition)

Este domínio aborda se os participantes com dados de acompanhamento representam as pessoas recrutadas para o estudo, o que ajuda os avaliadores a julgar se a associação relatada entre o fator prognóstico e o desfecho é tendenciosa pela avaliação dos resultados em um grupo seleto de participantes que completaram o estudo. Para julgar, os avaliadores devem considerar: 1) a taxa de desistência do estudo, ou seja, se muitos participantes desistiram e se há risco aumentado de diferenças sistemáticas capazes de influenciar a associação com o fator prognóstico; 2) informações sobre perdas de participantes no acompanhamento, ou seja, a preocupação é menor se todas as pessoas forneceram explicações aleatórias; e 3) diferenças observadas nas características das pessoas perdidas para acompanhamento em comparação com os participantes que completaram o estudo.

Um estudo é considerado com risco de viés “Alto” se as pessoas que concluíram o estudo, provavelmente, diferiam daquelas que se perderam no acompanhamento, de forma a distorcer a associação entre o fator prognóstico e o desfecho. Por outro lado, estudos com acompanhamento completo ou evidência de perda aleatória de participantes apresentam risco de viés “Baixo”.

2.3. Mensuração do Fator Prognóstico (Prognostic Factor Measurement)

Este domínio aborda a adequação da medição do fator prognóstico. Ajuda os avaliadores a julgar se o estudo mediu o fator prognóstico de maneira semelhante, válida e confiável para todos os participantes. Para fazer esse julgamento, os avaliadores consideram a clareza da definição do fator prognóstico, as evidências sobre a validade e confiabilidade da abordagem de mensuração e a similaridade da mensuração e relato apropriado do fator prognóstico para todos os participantes. As informações consideradas podem incluir fontes externas sobre propriedades de mensuração, mensuração cega ou independente e confiança limitada na memória.

Um estudo é considerado com risco de viés “Baixo” se o fator prognóstico foi medido de forma semelhante para todos os participantes, usando forma de mensuração válida e confiável. Por outro lado, estudos que usaram um método não confiável para medir o fator prognóstico ou usaram abordagens diferentes para os participantes, resultando em classificação incorreta, de maneira sistemática, têm risco de viés “Alto”.

 2.4. Mensuração do Desfecho (Outcome Measurement)

Este domínio aborda a adequação da mensuração do desfecho. Ajuda os avaliadores a julgar se o estudo mediu o desfecho de maneira semelhante, confiável e válida para todos os participantes. Para fazer esse julgamento, os avaliadores consideram a clareza da definição do desfecho, as evidências sobre a validade e confiabilidade da forma de mensuração e a similaridade da mensuração (ou seja, configuração semelhante, método e duração de acompanhamento) para diferentes níveis de fator prognóstico. As informações consideradas podem incluir fontes externas relevantes sobre as propriedades medidas, mensuração cega e confirmação do resultado com outro teste válido e confiável para apoiar um julgamento.

Um estudo apresenta risco de viés “Alto” se houve mensuração distinta do desfecho, relacionada à extensão da exposição ao fator prognóstico, por exemplo, se os desfechos cardiovasculares foram avaliados mais extensivamente em fumantes do que em não fumantes. O estudo é considerado com risco de viés “Baixo” se o desfecho foi medido de forma semelhante para todos os participantes, usando mensuração válida e confiável.

2.5. Viés de Confusão no Estudo (Study Confounding)

Este domínio aborda possíveis fatores de confusão. Ajuda os avaliadores a julgar se outro fator pode explicar a associação relatada do estudo. Para fazer esse julgamento, os avaliadores consideram a validade, confiabilidade e similaridade da mensuração de potenciais fatores de confusão (definidos a priori) para todos os participantes e se todos os fatores de confusão importantes foram levados em consideração no desenho ou análise do estudo.

Um estudo apresenta risco de viés “Alto” se outro fator relacionado ao fator prognóstico e ao desfecho puder explicar o efeito do fator prognóstico. Por outro lado, estudos com mensuração adequada dos fatores ​​de confusão e inclusão dessas variáveis ​​em uma análise multivariada pré-especificada têm risco de viés “Baixo”.

2.6. Análise Estatística e Relato (Statistical Analysis and Reporting)

Ete domínio aborda a adequação da análise estatística do estudo e a integridade dos registros no artigo. Ajuda os avaliadores a julgar se os resultados são espúrios ou tendenciosos devido à análise ou ao relato. Para fazer esse julgamento, os avaliadores consideram os dados apresentados, para determinar a adequação da estratégia analítica e do processo de construção do modelo, e investigam suspeitas de relato seletivo. O relato seletivo é uma questão importante nas Revisões Sistemáticas de fatores prognósticos, porque os estudos, comumente, relatam apenas fatores associados positivamente aos desfechos.

Um estudo é considerado com risco de viés “Baixo” quando a análise estatística foi apropriada para os dados, as suposições estatísticas foram atendidas e todos os resultados para os desfechos primários foram relatados.

Quadro 1. Ferramenta QUIPS (Quality in Prognostic Studies) – domínios, itens norteadores e julgamentos, no idioma original

Domains	Prompting items	Ratings
Study Participation (The study sample adequately represents the population of interest)	a. Adequate participation in the study by eligible persons. b. Description of the source population or population of interest. c. Description of the baseline study sample. d. Adequate description of the sampling frame and recruitment. e. Adequate description of the period and place of recruitment. f. Adequate description of inclusion and exclusion criteria.	High bias: The relationship between the PF and outcome is very likely to be different for participants and eligible nonparticipants. Moderate bias: The relationship between the PF and outcome may be different for participants and eligible nonparticipants. Low bias: The relationship between the PF and outcome is unlikely to be different for participants and eligible nonparticipants.
Study Attrition (The study data available (i.e., participants not lost to follow-up) adequately represent the study sample)	a. Adequate response rate for study participants. b. Description of attempts to collect information on participants who dropped out. c. Reasons for loss to follow-up are provided. d. Adequate description of participants lost to follow-up. e. There are no important differences between participants who completed the study and those who did not.	High bias: The relationship between the PF and outcome is very likely to be different for completing and non-completing participants. Moderate bias: The relationship between the PF and outcome may be different for completing and non-completing participants. Low bias: The relationship between the PF and outcome is unlikely to be different for completing and non-completing participants
Prognostic Factor Measurement (The PF is measured in a similar way for all participants)	a. A clear definition or description of the PF is provided. b. Method of PF measurement is adequately valid and reliable. c. Continuous variables are reported, or appropriate cut points are used. d. The method and setting of measurement of PF is the same for all study participants. e. Adequate proportion of the study sample has complete data for the PF. f. Appropriate methods of imputation are used for missing PF data.	High bias: The measurement of the PF is very likely to be different for different levels of the outcome of interest. Moderate bias: The measurement of the PF may be different for different levels of the outcome of interest. Low bias: The measurement of the PF is unlikely to be different for different levels of the outcome of interest for missing PF data.
Outcome Measurement (The outcome of interest is measured in a similar way for all participants)	a. A clear definition of the outcome is provided. b. Method of outcome measurement used is adequately valid and reliable. c. The method and setting of outcome measurement is the same for all study participants.	High bias: The measurement of the outcome is very likely to be different related to the baseline level of the PF. Moderate bias: The measurement of the outcome may be differently related to the baseline level of the PF. Low bias: The measurement of the outcome is unlikely to be different related to the baseline level of the PF.
Study Confounding (Important potential confounding factors are appropriately accounted for)	a. All important confounders are measured. b. Clear definitions of the important confounders measured are provided. c. Measurement of all important confounders is adequately valid and reliable. d. The method and setting of confounding measurement are the same for all study participants. e. Appropriate methods are used if imputation is used for missing confounder data. f. Important potential confounders are accounted for in the study design. g. Important potential confounders are accounted for in the analysis.	High bias: The observed effect of the PF on the outcome is very likely to be distorted by another factor related to PF and outcome. Moderate bias: The observed effect of the PF on outcome may be distorted by another factor related to PF and outcome. Low bias: The observed effect of the PF on outcome is unlikely to be distorted by another factor related to PF and outcome.
Statistical Analysis and Reporting (The statistical analysis is appropriate, and all primary outcomes are reported)	a. Sufficient presentation of data to assess the adequacy of the analytic strategy. b. Strategy for model building is appropriate and is based on a conceptual framework or model. c. The selected statistical model is adequate for the design of the study. d. There is no selective reporting of results.	High bias: The reported results are very likely to be spurious or biased related to analysis or reporting. Moderate bias: The reported results may be spurious or biased related to analysis or reporting. Low bias: The reported results are unlikely to be spurious or biased related to analysis or reporting.

Nota: PF prognostic factor

Fonte: adaptado de Hayden et al.³

3. Interpretação

Para cada um dos seis domínios na ferramenta QUIPS, as respostas aos itens norteadores são consideradas em conjunto para informar o julgamento do risco de viés. As informações e os comentários metodológicos que apoiam a avaliação do item devem ser registrados (preferencialmente, extraídos do estudo avaliado).³

Alguns itens norteadores podem não ser relevantes para estudos específicos ou para a questão da revisão, portanto, podem ser ignorados ou omitidos. Por exemplo, se um estudo tem uma taxa de resposta de 100%, os itens norteadores no domínio “Study Attrition” relacionados à coleta de informações sobre os participantes que desistiram do estudo, os motivos para perda de acompanhamento e a descrição e comparação das características principais de participantes perdidos no acompanhamento com os participantes do estudo não são relevantes.

Cada um dos seis domínios do QUIPS deve ser avaliado como “Alto”, “Moderado” ou “Baixo” risco de viés. Para julgar o risco geral de viés (overall risk of bias) de cada estudo, pode-se descrever os estudos com baixo risco de viés como aqueles em que todos ou os mais importantes (conforme definido a priori, em equipe) dos seis domínios de viés forem classificados com baixo risco de viés. Recomenda-se o uso de análise de sensibilidade para explorar o efeito da classificação adotada, não sendo recomendado o uso de pontuação somada ou ponto de corte para a qualidade geral do estudo.³

4. Apresentação dos resultados

É possível apresentar os resultados da análise do risco de viés, com o QUIPS, por meio de uma tabela ou quadro, conforme exemplo abaixo (Quadro 2).

Quadro 2. Exemplo de apresentação do resultado da avaliação do risco de viés com a ferramenta QUIPS, no idioma original

Domains

Studies

Chang et al. [21]

Costa et al. [22]

Islam et al. [23]

Li et al. [24]

Lionello et al. [25]

Lionello et al. [26]

Marioni et al. [27]

Marioni et al. [28]

Massarelli et al. [29]

Monteiro et al. [30]

Wang et al. [31]

Won et al. [32]

1. Study Participation

low

low

low

low

low

low

low

low

low

low

low

low

2. Study Attrition

low

low

low

low

low

low

low

low

low

low

low

moderate

3. Prognostic Factor Measurement

low

low

low

low

low

low

low

low

low

low

low

low

4. Outcome Measurement

low

low

low

low

low

low

low

low

low

low

low

low

5. Study Confounding

low

low

low

low

low

low

low

low

low

low

low

low

6. Statistical Analysis and Reporting

low

low

low

low

low

low

low

low

low

low

low

low

Fonte: adaptado de Marques et al.⁵

Também é possível apresentar os resultados por meio de gráfico com julgamento domínio a domínio, para cada estudo incluído (gráfico do tipo “sinal de trânsito”), ou gráfico do tipo “barras ponderadas” com o sumário dos resultados do QUIPS, gerados com o template “QUIPS dataset” da ferramenta online robvis (visualization tool for risk of bias assessments in a systematic review)⁶, cujo passo a passo está descrito no Capítulo 15.

5. Considerações finais

Apesar da multiplicidade de desenhos possíveis em estudos de diagnóstico, independentemente do desenho dos estudos incluídos na RS, o QUIPS deve ser a ferramenta para análise do risco de viés adotada para todos.⁷

Algumas limitações importantes acerca da aplicação da ferramenta foram pontuadas por Tang et al.⁷:

• A qualidade do relato do artigo não é sinônimo de qualidade metodológica da pesquisa ou de risco de viés, sendo que muitos dos itens norteadores do QUIPS estão mais relacionados à qualidade do relato, como o item norteador “descrição adequada do período e local de recrutamento”, que, frequentemente, não é relatado. É difícil para os avaliadores fazerem julgamentos eficazes e precisos da qualidade da pesquisa e do risco de viés para estudos mal relatados. Assim, o uso de itens norteadores relacionados ao padrão de relato pode confundir os avaliadores.
• Cada item e cada domínio têm um impacto diferente sobre o risco de viés na pesquisa. A ponderação pouco clara é uma questão importante na avaliação geral do risco de viés, especialmente, quando há vários domínios, com vários itens norteadores cada e cada item com várias respostas possíveis (sim, não, incerto). O QUIPS carece de uma orientação clara para os avaliadores fazerem julgamentos a partir dos itens norteadores para o risco de viés em cada domínio e destes para o risco de viés geral no estudo. Por exemplo, no domínio “Participação na pesquisa”, ao comparar os itens “tempo de recrutamento” e “participantes suficientes”, o último é, obviamente, mais importante, contudo, os avaliadores devem considerar ambos igualmente para fazer o julgamento sobre o risco de viés no domínio.

• Da mesma forma, quando os avaliadores fazem avaliações de risco de viés diferentes (alto, médio, baixo) para cada domínio, não fica claro como integrar os resultados da avaliação dos seis domínios em um resultado global do risco de viés para o estudo. Os avaliadores podem, então, predefinir padrões de uso com base em problemas reais e conduzir avaliações consistentes em equipe, no entanto, na ausência da orientação dos elaboradores da ferramenta, equipes diferentes podem estabelecer padrões diferentes para uso do QUIPS.

• A situação específica da pesquisa pode afetar ou mesmo limitar o uso do QUIPS. O “fator prognóstico” pode ser uma doença diagnosticada ou uma condição de saúde, uma única característica (como sexo, idade) ou um modelo de previsão de risco de doença. Considerando a unidade de avaliação, um estudo prognóstico pode avaliar a influência de vários fatores prognósticos em um desfecho ou a influência de um único fator prognóstico em vários desfechos. Sendo que o mesmo estudo que analisou diversos fatores prognósticos pode apresentar risco de viés diferente para cada desfecho avaliado.

 

Referências

1. Altman DG. Systematic reviews of evaluations of prognostic variables. BMJ [Internet]. 2001 Jul [cited 2021 Aug 04];323(7306):224-8. Available from: https://doi.org/10.1136/bmj.323.7306.224
2. Altman DG, Lyman GH. Methodological challenges in the evaluation of prognostic factors in breast cancer. Breast Cancer Res Treat [Internet]. 1998 Nov [cited 2021 Aug 04];52(1-3):289-303. Available from: https://doi.org/10.1023/a:1006193704132
3. Hayden JA, van der Windt DA, Cartwright JL, Côté P, Bombardier C. Assessing bias in studies of prognostic factors. Ann Intern Med [Internet]. 2013 Feb [cited 2021 Aug 04];158(4):280-6. Available from: https://doi.org/10.7326/0003-4819-158-4-201302190-00009
4. Hayden JA, Côté P, Bombardier C. Evaluation of the quality of prognosis studies in systematic reviews. Ann Intern Med [Internet]. 2006 Mar [cited 2021 Aug 04];144(6):427-37. Available from: https://doi.org/10.7326/0003-4819-144-6-200603210-00010
5. Marques AE, Elias ST, Porporatti AL, Castilho RM, Squarize CH, De Luca Canto G, et al. mTOR pathway protein immunoexpression as a prognostic factor for survival in head and neck cancer patients: a systematic review and meta-analysis. J Oral Pathol Med [Internet]. 2016 May [cited 2021 Aug 04];45(5):319-28. Available from: https://doi.org/10.1111/jop.12390
6. McGuinness, LA, Higgins, JPT. Risk-of-bias VISualization (robvis): An R package and Shiny web app for visualizing risk-of-bias assessments. Res Syn Meth [Internet]. 2021 Jan [cited 2021 Aug 04]; 1-7. Available from: https://doi.org/10.1002/jrsm.1411
7. Tang SW, Zhang Y, Tao BL, Yang ZR, Sun F, Zhan SY. [Risk of bias assessment: (7) assessing bias in studies of prognostic factors]. Zhonghua Liu Xing Bing Xue Za Zhi [Internet]. 2018 Jul [cited 2021 Aug 04];39(7):1003-8. Available from: https://doi.org/10.3760/cma.j.issn.0254-6450.2018.07.026