Capítulo 3. Tipos de vieses em Estudos de Intervenção Não Randomizados (EINR)
CAPÍTULO 3
Tipos de Vieses em Estudos de Intervenção Não Randomizados (EINR)
Luciana Butini Oliveira, Carla Massignan, Cristine Miron Stefani, Graziela De Luca Canto.
1. Introdução
Os Estudos Clínicos Randomizados (ECR) são considerados os estudos mais indicados para avaliação da eficácia de intervenções, pois evitam vieses por meio da randomização dos participantes para os grupos de tratamento ou controle.1,2 Os critérios de elegibilidade nos ECR são planejados para aumentar a homogeneidade entre os participantes, fortalecendo a validade interna do estudo.
Nesse tipo de estudo, os participantes devem ter a mesma oportunidade de receber ou não a intervenção proposta e os grupos de estudo devem ser os mais parecidos possíveis, de forma que a única diferença entre eles seja a intervenção em si, permitindo, desta maneira, avaliar o impacto na ocorrência do desfecho em um grupo comparado ao outro.3
ECR, quando bem delineados e conduzidos, têm o potencial de sugerir novos protocolos ou alterar protocolos clínicos já disponíveis e vigentes.4 No entanto, em Revisões Sistemáticas (RS) de intervenções ou exposições, cujos efeitos não são, por razões práticas ou éticas, favoráveis à avaliação por meio de ECR, Estudos de Intervenção Não Randomizados (EINR) (ou Non-Randomized Studies of Intervention – NRSI, em inglês), podem formar um componente substantivo da base de evidências disponíveis para avaliação desses efeitos.5
Os autores das RS têm o dever de apresentar aos pacientes, profissionais e formuladores de políticas públicas um resumo das evidências disponíveis e algumas dessas, especialmente sobre os efeitos colaterais das intervenções, muitas vezes, precisarão ser obtidas por meio de EINR.6
Os EINR são definidos como quaisquer estudos quantitativos que estimem a eficácia de uma intervenção (dano ou benefício) que não utilizem randomização para alocar unidades (indivíduos ou conglomerados – clusters – de indivíduos) para grupos de intervenção. Tais estudos incluem aqueles em que a alocação ocorre no curso das decisões habituais de tratamento ou de acordo com as escolhas das pessoas.6
O objetivo deste capítulo é apresentar os EINR que podem ser incluídos em RS de intervenção. Ou seja, ainda que o desenho de estudo se apresente como observacional, se, no entanto, avaliou uma intervenção, pode ser classificado como EINR, conforme Quadro 1. Além disso, são apresentados os principais tipos de vieses a que esses estudos estão sujeitos.
2. Tipos de Estudos de Intervenção Não Randomizados (EINR)
EINR são utilizados por pesquisadores para avaliar inúmeros tipos de intervenções, desde medicamentos e procedimentos hospitalares, passando por diversas intervenções comunitárias em saúde, até sistemas de saúde implementados em nível nacional.6
Existem muitos tipos de EINR e há diversas definições e classificações que incluem estudos observacionais e estudos clínicos, causando uma certa dificuldade no entendimento. Estudos de coorte, estudos caso-controle, estudos antes e depois (before-and-after), estudos quase-randomizados e estudos de séries temporais interrompidas são todos estudos não randomizados, mas possuem desenhos bem distintos.6
Reeves et al.7 descreveram os tipos de desenhos de estudo não randomizados comumente utilizados pelos pesquisadores da área da saúde para avaliações de intervenções/programas em saúde, conforme descrição apresentada no quadro a seguir:
Quadro 1. Tipos de Estudos de Intervenção Não Randomizados (EINR)
Ensaio controlado quase-randomizado (ou quasi-experimental)
|
Participantes individuais ou clusters de participantes são alocados para intervenção ou comparador de uma forma quase aleatória, ou seja, a regra de alocação é, muitas vezes, por alternância, dia da semana, número ímpar do registro hospitalar ou previdenciário.8 Nos estudos realizados pelos sistemas de saúde, a regra de alocação é aplicada por um tomador de decisões de alto nível; se a alocação não for oculta, a equipe de pesquisa que conhece a regra pode recrutar seletivamente ou alocar participantes de forma tendenciosa. |
Estudo não randomizado controlado | Este tipo de estudo é geralmente uma coorte prospectiva cuja alocação para a intervenção e comparador não é aleatória nem quase aleatória, sendo aplicada pela equipe de pesquisa.9 Nesse caso, o envolvimento da equipe de pesquisa na regra de alocação pode ser difícil de discernir. Tais estudos podem ser classificados como observacionais, se os responsáveis pela regra de alocação não a definem claramente ou integrantes da equipe de pesquisa têm envolvimento tanto na tomada de decisões de cuidados de saúde quanto no papel de pesquisador.
Geralmente, são analisados dados em nível individual. Cabe observar que a alocação não aleatória de uma intervenção em saúde é, muitas vezes, definida considerando fatores organizacionais (enfermaria, clínica, profissional de saúde, organização provedora)10, e a análise deve considerar a hierarquia de dados, se existir. |
Estudo controlado tipo antes e depois | Estudo em que os desfechos são avaliados em dois períodos de tempo para vários clusters (geralmente geográficos). Os clusters são classificados em intervenção e grupos comparadores e são estudados sem a intervenção durante o período 1. Entre o período 1 e 2, clusters no grupo de intervenção devem receber a intervenção de interesse enquanto os no grupo comparador não. O desfecho para aqueles que recebem a intervenção é comparado com o desfecho para clusters comparadores durante o período 2, ajustado para os desfechos observados durante o período 1 (quando nenhum cluster tinha tido a intervenção). Os dados podem ser analisados em um nível agregado11 ou individual.12 |
Estudo antes e depois
|
Assemelha-se ao estudo controlado tipo antes e depois, mas não apresenta dados para um grupo de controle de clusters.13 Uma comparação não controlada é feita entre frequências de desfechos para os dois pontos de tempo. Esse termo também pode ser aplicado a um estudo no qual uma coorte de indivíduos tem um desfecho (por exemplo, função, sintomas ou qualidade de vida) medido antes de uma intervenção e após a mesma.14 Esse tipo de estudo compreende uma única coorte “exposta”15, com o desfecho medido antes e após a intervenção. Se aplicável, a análise deve levar em conta a hierarquia de dados. |
Série de tempo interrompida
|
Utilizada para estudar intervenções em saúde, em que as observações, geralmente, representam episódios de cuidados ou eventos. As coortes estudadas podem ou não corresponder aos mesmos indivíduos em diferentes pontos de tempo e os dados são, frequentemente, agrupados em unidades organizacionais (por exemplo, uma unidade de saúde ou distrito). Pode ser considerado composto por múltiplos estudos transversais (“instantâneos”) e a análise pode ser agregada ao nível dos clusters16 ou ao nível de episódios individuais.17 |
Série de tempo interrompida com grupo controle | Como descrito acima para a Série de Tempo interrompida, mas com dados para um grupo de comparação contemporâneo em que a intervenção não foi implementada.18 A aferição do desfecho no grupo de comparação deve utilizar os mesmos métodos do grupo de intervenção. |
Estudo de coorte prospectiva controlada simultaneamente
|
Estudo de coorte em que os participantes são identificados prospectivamente e classificados como tendo recebido a intervenção ou comparador de interesse, com base em informações prospectivamente coletadas.19 Os dados são, geralmente, analisados para indivíduos. No entanto, é importante notar que o recebimento não aleatório de uma intervenção em saúde é quase sempre definido em razão da organização (enfermaria, clínica, profissional de saúde, organização provedora) e a análise deve considerar a hierarquia de dados. |
Estudo de coorte retrospectiva controlada simultaneamente
|
Estudo de coorte em que os sujeitos são identificados a partir de registros históricos (por exemplo, prontuários e registros clínicos) e classificados como tendo recebido a intervenção ou comparador de interesse com base em informações históricas.20 Como em estudos de coorte prospectiva controlada simultaneamente, os dados são, geralmente, analisados em nível individual, mas a análise deve considerar a hierarquia de dados. |
Estudo de coorte controlada historicamente
|
Este tipo de estudo de coorte é uma combinação de um estudo de coorte retrospectiva controlada (para um grupo, geralmente, recebendo o comparador) e um estudo de coorte prospectiva (para o segundo grupo, geralmente, recebendo a intervenção).21 Assim, a comparação entre grupos não é contemporânea. A análise deve considerar a hierarquia de dados. |
Estudo caso-controle
|
Indivíduos consecutivos que apresentaram um desfecho de interesse são identificados, de preferência, prospectivamente, dentro de uma população definida (para a qual ainda não houve coleta de dados) e formam um grupo de “casos”.22 Indivíduos, usualmente pareados com os casos, que não experimentaram o desfecho de interesse, também são identificados dentro da mesma população para compor o grupo de “controles”. Dados caracterizando a intervenção ou comparador recebido no passado são coletados retrospectivamente a partir de registros clínicos ou entrevistas dos participantes. O recebimento da intervenção ou comparador de interesse é comparado entre casos e controles. Se aplicável, a análise deve considerar a hierarquia de dados. |
Estudo caso-controle aninhado
|
Indivíduos que apresentaram um desfecho de interesse são identificados de dentro de uma coorte definida (para a qual dados já foram coletados) e formam um grupo de “casos”. Indivíduos, usualmente pareados aos casos, que não experimentaram o desfecho de interesse, também são identificados de dentro da coorte definida e formam o grupo de “controles”.23 Dados adicionais necessários para o estudo, caracterizando a intervenção ou comparador recebido no passado, são coletados retrospectivamente a partir de registros clínicos existentes ou entrevistas dos participantes. O recebimento da intervenção ou comparador de interesse é confrontado entre casos e controles. Se aplicável, a análise deve considerar a hierarquia de dados. |
Estudo transversal
|
Nesse tipo de estudo, as informações necessárias para classificar indivíduos de acordo com o recebimento da intervenção ou comparador de interesse e de acordo com o desfecho são coletadas ao mesmo tempo, às vezes, impedindo os pesquisadores de saber se a intervenção precedeu o desfecho.24 |
Fonte: Adaptado de Reeves et al.7
3. Vieses em Estudos de Intervenção Não Randomizados (EINR)
Conforme apresentado no Capítulo 1, viés é um erro sistemático na condução do estudo (por exemplo, no recrutamento, na avaliação de desfechos ou na análise dos dados), podendo levar a resultados incorretos. Se esses vieses não forem analisados devidamente, podem repercutir negativamente desde a tomada de decisão em saúde de forma errônea até a incorporação de novos tratamentos e tecnologias em âmbito nacional, que poderão causar mais danos do que benefícios.25,26
Os vieses que afetam os EINR variam dependendo das características dos estudos. A randomização é usada para evitar uma influência de fatores prognósticos conhecidos ou desconhecidos (por exemplo, fatores que predizem o desfecho, como gravidade da doença ou presença de comorbidades) na atribuição do grupo de intervenção. Dessa forma, há maior potencial de viés nos EINR em comparação aos ensaios randomizados.
Existem quatro principais fontes de vieses em EINR: Viés de Confusão, Viés de Seleção, Viés de Informação (aferição) e Viés de Relato Seletivo de Desfecho26, conforme descrição e exemplos apresentados a seguir.
3.1. Viés de Confusão
Uma das principais preocupações em EINR é a possibilidade de viés de confusão, que ocorre quando há causas comuns da escolha da intervenção e do desfecho de interesse. Na presença de fatores de confusão, a associação entre intervenção e desfecho difere do seu efeito causal. Essa diferença é conhecida como viés de confusão, tendo como exemplos comuns a gravidade da doença preexistente, presença de comorbidades, acesso aos cuidados de saúde, práticas de prescrição médica e status socioeconômico.
Os pesquisadores podem utilizar variáveis específicas (usualmente referidas como possíveis fatores de confusão), na tentativa de controlar total ou parcialmente esses fatores. Por exemplo, internações e número de consultas médicas nos seis meses anteriores podem ser utilizados para ajuste da condição preexistente; renda e educação para ajuste da condição socioeconômica.26
Os fatores de confusão importantes no contexto de intervenções específicas podem variar entre desenhos de estudo. À guisa de exemplo, a condição socioeconômica pode ser um viés importante nos cenários em que o custo ou a cobertura do seguro de saúde afetam o acesso à assistência à saúde, mas pode não ser fator de confusão em estudos realizados em países cujo acesso às intervenções de interesse é universal e, portanto, a condição socioeconômica não influencia a intervenção recebida.26
Ademais, o viés de confusão, em princípio, pode ser controlado, seja pelo desenho do estudo (por exemplo, restringindo a elegibilidade a indivíduos que tenham os mesmos fatores de confusão no baseline) ou – mais comumente – por meio de análises estatísticas que ajustem os fatores de confusão.26
Na prática, entretanto, o viés de confusão não é totalmente superado. Em primeiro lugar, viés de confusão residual ocorre quando um fator de confusão não é medido, é medido com erro ou quando a relação entre o fator de confusão e o desfecho ou exposição (dependendo da abordagem analítica que está sendo usada) é imperfeitamente modelada. Por exemplo, em um EINR comparando dois medicamentos anti-hipertensivos, poder-se-ia esperar viés de confusão residual, caso a pressão arterial pré-intervenção fosse medida três meses antes do início da intervenção, mas as pressões utilizadas pelos médicos para decidir entre os medicamentos no momento da intervenção não estivessem disponíveis.
Além disso, viés de confusão não avaliado ocorre quando um fator de confusão não foi medido ou não foi controlado na análise, como em quando não havia medidas de pressão arterial pré-intervenção disponíveis, ou se a análise não controlou a pressão arterial pré-intervenção, apesar de ter sido medida.26
Quando EINR forem incluídos em uma Revisão Sistemática, os autores da revisão devem tentar pré-especificar fatores de confusão importantes em seu protocolo. Por isso, a identificação de fatores potenciais de confusão requer conhecimento. Por exemplo, especialistas em cirurgia são os mais indicados para identificar fatores prognósticos relacionados à escolha de determinada técnica cirúrgica. Portanto, é recomendado que experts sejam incluídos na equipe de pesquisa que escreve o protocolo de revisão e que potenciais fatores de confusão sejam elencados com base em discussões iniciais entre os autores da revisão e conhecimento existente na literatura.26
3.2. Viés de Seleção
O viés de seleção ocorre quando participantes elegíveis, o tempo de acompanhamento dos participantes ou, ainda, eventos de desfecho são excluídos, de forma que a associação entre intervenção e desfecho no EINR seja diferente da associação que seria observada em um ECR.26
Em ECR, a randomização neutraliza o viés de seleção, diminuindo a probabilidade de que os grupos difiram significativamente entre si no baseline a ponto de influenciar o desfecho27-28, já em EINR, a ausência de randomização torna os estudos suscetíveis a esse tipo de viés. Esse fenômeno é distinto do viés de confusão, embora os vieses de seleção, às vezes, sejam considerados fatores de confusão.
Viés de seleção também pode surgir devido à falta de dados relacionados ao atrito (perda no seguimento), às consultas perdidas, à coleta incompleta dos dados e à exclusão dos participantes da análise pelos pesquisadores. Além disso, em EINR, podem estar ausentes dados de características do baseline (incluindo intervenções recebidas ou fatores de confusão do baseline) para cointervenções pré-especificadas, para medições de desfecho e para outras variáveis envolvidas na análise ou uma combinação dessas. Considerações específicas para dados ausentes em ECR foram descritas no Capítulo 2 e se aplicam igualmente aos EINR.
3.3. Viés de informação
O viés de informação ocorre quando a medida individual ou a classificação da doença ou exposição não medem corretamente o que se propõem a medir. Este é frequentemente referido como viés de aferição, o qual pode ser ocasionado pelo uso de instrumentos inadequados, tais como balanças descalibradas e questionários não validados.
Outro exemplo bem conhecido é o viés de recordação ou de memória, frequente em estudos caso-controle, já que casos são mais propensos a recordar eventos potencialmente importantes ou relatar exposições a fatores de risco que acreditam ser responsáveis por sua doença, enquanto controles podem experimentar dificuldades em resgatar experiências pregressas.26 Os casos podem se lembrar mais facilmente de uma determinada exposição no passado, especialmente se a informação está relacionada à doença em estudo, como a falta de exercício físico e problemas cardíacos.
Outro exemplo de viés de aferição pode ocorrer em estudos de coorte, se forem obtidos dados retrospectivos e se a informação (ou disponibilidade de informações) sobre o estado de intervenção for influenciada pelos desfechos, por exemplo, um estudo de coorte em idosos em que o desfecho é demência, e a recordação dos participantes do status de intervenção passada no início do estudo foi afetada por prejuízo cognitivo leve preexistente. Tais problemas podem ser evitados se as informações detalhadas sobre a intervenção forem coletadas no momento em que esta é aplicada e se tais informações estiverem acessíveis àqueles que realizam o estudo.26
3.4. Viés de relato seletivo de desfecho
As preocupações com a seleção dos desfechos relatados no EINR refletem as mesmas preocupações dos ECR e estão detalhadas no Capítulo 2. O relato seletivo, normalmente, surge do desejo de que os achados sejam dignos de nota o suficiente para merecer publicação, podendo ser o caso quando evidências anteriores disponíveis na literatura (ou uma hipótese anterior) forem confirmadas ou refutadas.
Embora faltem evidências empíricas de relato seletivo em EINR, é difícil imaginar que o problema seja menos grave em comparação com ECR. Muitos EINR não possuem protocolos prévios, ou são exploratórios, por isso, envolvem a averiguação de muitas associações entre intervenção e desfecho.26
A seleção do desfecho relatado levará a viés se for baseado no valor de p, magnitude ou direção da estimativa de efeito da intervenção. Já viés devido à seleção da medida de desfecho ocorre quando uma estimativa de efeito para um determinado desfecho é selecionada entre várias medidas, por exemplo, quando uma aferição é feita em vários pontos de tempo ou usando várias escalas. Por fim, o viés devido à seleção da análise acontece quando os desfechos relatados são selecionados a partir de efeitos de intervenção estimados de múltiplas formas, como análises de escores de alteração e escores pós-intervenção ajustados para o baseline, ou múltiplas análises com ajuste para diferentes conjuntos de potenciais fatores de confusão.26
Referências
- Ferreira JC, Patino CM. Escolhendo sabiamente entre ensaios clínicos randomizados e desenhos observacionais em estudos sobre intervenções. J Bras Pneumol [Internet]. 2016 May [cited 2021 Aug 03];42(3):165. Available from: https://doi.org/10.1590/S1806-37562016000000152
- Honório HM, Santiago JR, Mamani MP, Araujo Lemos CA. Análise da qualidade dos estudos e riscos de vieses. In: Honório HM, Santiago JR, Ferreira J. Fundamentos das Revisões Sistemáticas em Saúde. São Paulo: Santos Publicações, 2021, Capítulo 11, p. 275-320.
- Nedel WL, Silveira F. Os diferentes delineamentos de pesquisa e suas particularidades na terapia intensiva. Rev Bras Ter Intensiva [Internet]. 2016 Jul [cited 2021 Aug 03];28(3):256-60. Available from: https://doi.org/10.5935/0103-507X.20160050
- Glanville J, Eyers J, Jones AM, Shemilt I, Wang G, Johansen M, et al. Quasi-experimental study designs series-paper 8: identifying quasi-experimental studies to inform systematic reviews. J Clin Epidemiol [Internet]. 2017 Sep [cited 2021 Aug 03];89:67-76. Available from: https://doi.org/10.1016/j.jclinepi.2017.02.018
- Honório HM, Santiago JR. Revisões sistemáticas: definição, importância e limitações. In: Honório HM, Santiago JR, Ferreira J. Fundamentos das revisões sistemáticas em saúde. São Paulo: Santos Publicações, 2021, Capítulo 1, p. 3-22.
- Reeves BC, Deeks JJ, Higgins JPT, Shea B, Tugwell P, Wells GA. Including non-randomized studies on intervention effects. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.1. London: The Cochrane Collaboration; 2020. [cited 2021 Aug 03]. Chapter 24. Available from: http://www.training.cochrane.org/handbook
- Reeves BC, Wells GA, Waddington H. Quasi-experimental study designs series-paper 5: a checklist for classifying studies evaluating the effects on health interventions-a taxonomy without labels. J Clin Epidemiol [Internet]. 2017 Sep [cited 2021 Aug 03];89:30-42. Available from: https://doi.org/10.1016/j.jclinepi.2017.02.016
- Aiken AM, Davey C, Hargreaves JR, Hayes RJ. Re-analysis of health and educational impacts of a school-based deworming programme in western Kenya: a pure replication. Int J Epidemiol [Internet]. 2015 Oct [cited 2021 Aug 03];44(5):1572-80. Available from: https://doi.org/10.1093/ije/dyv127
- Carey ME, Mandalia PK, Daly H, Gray LJ, Hale R, Martin Stacey L, et al. Increasing capacity to deliver diabetes self-management education: results of the DESMOND lay educator nonrandomized controlled equivalence trial. Diabet Med [Internet]. 2014 Nov [cited 2021 Aug 03];31(11):1431-8. Available from: https://doi.org/10.1111/dme.12483
- Skre I, Friborg O, Breivik C, Johnsen LI, Arnesen Y, Wang CE. A school intervention for mental health literacy in adolescents: effects of a non-randomized cluster controlled trial. BMC Public Health [Internet]. 2013 Sep 23 [cited 2021 Aug 03];13:873. Available from: https://doi.org/10.1186/1471-2458-13-873
- Holloway KA, Gautam BR, Reeves BC. The effects of different kinds of user fees on prescribing quality in rural Nepal. J Clin Epidemiol [Internet]. 2001 Oct [cited 2021 Aug 03];54:1065-71. Available from: https://doi.org/10.1016/s0895-4356(01)00380-8
- Collin S, Reeves BC, Hendy J, Fulop N, Hutchings A, Priedane E. Implementation of computerised physician order entry (CPOE) and picture archiving and communication systems (PACS) in the NHS: quantitative before and after study. BMJ [Internet]. 2008 Aug [cited 2021 Aug 03];337:a939. Available from: https://doi.org/10.1136/bmj.a939
- Maini R, Van den Bergh R, van Griensven J, Tayler-Smith K, Ousley J, Carter D, et al. Picking up the bill – improving health-care utilisation in the Democratic Republic of Congo through user fee subsidisation: a before and after study. BMC Health Serv Res [Internet]. 2014 Nov [cited 2021 Aug 03];14:504. Available from: https://doi.org/10.1186/s12913-014-0504-6
- Hopkins C, Browne JP, Slack R, Lund V, Topham J, Reeves B, et al. The national comparative audit of surgery for nasal polyposis and chronic rhinosinusitis. Clin Otolaryngol [Internet]. 2006 Oct [cited 2021 Aug 03];31:390-8. Available from: https://doi.org/10.1111/j.1749-4486.2006.01275.x
- Dekkers OM, Egger M, Altman DG, Vandenbroucke JP. Distinguishing case series from cohort studies. Ann Intern Med [Internet]. 2012 Jan [cited 2021 Aug 03];156:37-40. Available from: https://doi.org/10.7326/0003-4819-156-1-201201030-00006
- Campbell SM, Reeves D, Kontopantelis E, Sibbald B, Roland M. Effects of pay for performance on the quality of primary care in England. N Engl J Med [Internet] . 2009 Jul [cited 2021 Aug 03];361(4):368- 78. Available from: https://doi.org/10.1056/nejmsa0807651
- Grijalva CG, Nuorti JP, Arbogast PG, et al. Decline in pneumonia admissions after routine childhood immunisation with pneumococcal conjugate vaccine in the USA: a time-series analysis. Lancet [Internet]. 2007 Apr [cited 2021 Aug 03];369:1179-86. Available from: https://doi.org/10.1016/s0140-6736(07)60564-9
- Steinbach R, Perkins C, Tompson L, Johnson S, Armstrong B, Green J, et al. The effect of reduced street lighting on road casualties and crime in England and Wales: controlled interrupted time series analysis. J Epidemiol Community Health [Internet]. 2015 Nov [cited 2021 Aug 03];69(11):1118-24. Available from: https://doi.org/10.1136/jech-2015-206012
- Langham J, Reeves BC, Lindsay KW, van der Meulen JH, Kirkpatrick PJ, Gholkar AR, et al. Variation in outcome after subarachnoid haemorrhage: a study of neurosurgical units in UK and Ireland. Stroke [Internet]. 2009 Jan [cited 2021 Aug 03];40(1):111-8. Available from:https://doi.org/10.1161/strokeaha.108.517805
- Murphy GJ, Reeves BC, Rogers CA, Rizvi SIA, Culliford L, Angelini GD. Increased mortality, post-operative morbidity and cost following red blood cell transfusion in patients having cardiac surgery. Circulation [Internet]. 2007 Nov [cited 2021 Aug 03];116:2544-52. Available from: https://doi.org/10.1161/circulationaha.107.698977
- Sacks HS, Chalmers TC, Smith H. Randomized versus historical controls for clinical trials. Am J Med [Internet]. 1982 Feb [cited 2021 Aug 03];72:233–9. Available from: https://doi.org/10.1016/0002-9343(82)90815-4
- Vučković BA, van Rein N, Cannegieter SC, Rosendaal FR, Lijfering WM. Vitamin supplementation on the risk of venous thrombosis: results from the MEGA case-control study. Am J Clin Nutr [Internet]. 2015 Mar [cited 2021 Aug 03];101(3):606-12. Available from: https://doi.org/10.3945/ajcn.114.095398
- Graham DJ, Campen D, Hui R, Spence M, Cheetham C, Levy G, et al. Risk of acute myocardial infarction and sudden cardiac death in patients treated with cyclo-oxygenase 2 selective and non-selective non-steroidal anti-inflammatory drugs: nested case-control study. Lancet [Internet]. 2005 Feb [cited 2021 Aug 03];365(9458):475-81. Available from: https://doi.org/10.1016/s0140-6736(05)17864-7
- Agot KE, Ndinya-Achola JO, Kreiss JK, Weiss NS. Risk of HIV-1 in rural Kenya: a comparison of circumcised and uncircumcised men. Epidemiology [Internet]. 2004 Mar [cited 2021 Aug 03];15(2):157-63. Available from: https://doi.org/10.1097/01.ede.0000112220.16977.82
- Carvalho APV, Silva V, Grande AJ. Avaliação do risco de viés de ensaios clínicos randomizados pela ferramenta da colaboração Cochrane. Diagn Tratamento [Internet]. 2013 Jan [cited 2021 Aug 03];18(1):38-44. Available from: http://files.bvs.br/upload/S/1413-9979/2013/v18n1/a3444.pdf
- Sterne JAC, Hernán MA, McAleenan A, Reeves BC, Higgins JPT. Assessing risk of bias in a non-randomized study. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.1. London: Cochrane, 2020. [cited 2021 Aug 03]. Chapter 25. Available from: https://training.cochrane.org/handbook
- Reeves BC, Higgins JP, Ramsay C, Shea B, Tugwell P, Wells An introduction to methodological issues when including non-randomised studies in systematic reviews on the effects of interventions. Res Synth Methods [Internet]. 2013 Mar [cited 2021 Aug 03];4(1):1-11. Available from: https://doi.org/10.1002/jrsm.1068
- Bärnighausen T, Tugwell P, Røttingen JA, Shemilt I, Rockers P, Geldsetzer P, et al. Quasi-experimental study designs series-paper 4: uses and value. J Clin Epidemiol [Internet]. 2017 Sep [cited 2021 Aug 03];89:21-29. Available from: https://doi.org/10.1016/j.jclinepi.2017.03.012