RISCO DE VIÉS EM REVISÕES SISTEMÁTICAS: GUIA PRÁTICO (COBE/UFSC)

CAPÍTULO 7

Análise do Risco de Viés de Estudos de Intervenção Não Randomizados (EINR) com a Ferramenta ROBINS-I

Carla Massignan, Cristine Miron Stefani, Graziela De Luca Canto

1. Introdução

A ROBINS-I é uma ferramenta que avalia o risco de viés dos estudos que compararam as estimativas de eficácia, portanto, estudos de intervenção, mas que não usaram randomização para a alocação dos participantes entre os grupos de estudo, os chamados Estudos de Intervenção Não Randomizados (EINR), do inglês, Non-Randomised Studies of Interventions (NRSI).

Como nem sempre é possível conduzir ensaios controlados randomizados, seja por questões éticas, limitações financeiras ou, ainda, porque as intervenções em saúde pública podem ser difíceis de ser avaliadas por meio deles, os estudos controlados não randomizados oferecem evidências adicionais àquelas disponíveis, a partir de ensaios randomizados, sobre desfechos de longo prazo, eventos raros, efeitos adversos e populações que são típicas da prática do mundo real.¹

A ferramenta foi desenvolvida a partir da constatação da necessidade de um instrumento que pudesse avaliar a validade interna dos estudos de forma clara e não baseada em perguntas isoladas.² Assim, após três anos de elaboração, a ROBINS-I foi criada, a partir de um consenso de especialistas pautado em experiências prévias com ferramentas, como a Cochrane Risk of Bias tool for randomised trials (RoB)³, e utilizando abordagem semelhante à adotada na ferramenta QUADAS-2⁴, que avalia cada domínio a partir de respostas aos “itens norteadores”.¹

Em seu guia detalhado, os autores afirmam que a ferramenta pode ser usada para avaliar o risco de viés em estudos quantitativos que estimam a eficácia (dano ou benefício) de uma intervenção e que não utilizaram randomização para alocação das unidades (indivíduos ou grupos de indivíduos) para os grupos de comparação. Ademais, destacam que isso inclui estudos em que a alocação ocorre durante o curso das decisões referentes ao tratamento usual ou pelas próprias escolhas das pessoas, os quais são frequentemente chamados de “observacionais”.⁵

Embora também possa ser aplicada em outros desenhos de EINR, como caso-controle, transversais, séries temporais interrompidas e estudos antes e depois (before-and-after), o guia detalhado para uso da ROBINS-I diz que a ferramenta é específica para estudos com um desenho do tipo coorte, em que indivíduos que receberam (ou estão recebendo) diferentes intervenções (tratamentos) são acompanhadas ao longo do tempo. Os autores da ferramenta consideram que ainda são necessárias modificações nas questões de sinalização para os outros tipos de estudos e consideram fazê-las no futuro.⁵

2. Aplicação

A organização da equipe para a aplicação da ferramenta ROBINS-I segue o disposto no Capítulo 1.

A aplicação da ROBINS-I parte do seguinte princípio: se fosse possível desenhar um ensaio controlado randomizado desconsiderando, por exemplo, questões éticas, como seria esse estudo ideal? Assim, propõe-se que os avaliadores determinem, antes de começarem a avaliação dos estudos não randomizados incluídos na Revisão Sistemática, como seria esse estudo randomizado ideal “alvo” que mimetizaria o estudo em avaliação, caso fosse possível randomizá-lo. Detalhes da população, da intervenção experimental, do comparador (nenhuma intervenção, cuidado usual ou uma intervenção alternativa) e dos desfechos de interesse devem ser estabelecidos para esse estudo randomizado “alvo”. E, a fim de manter a analogia com o estudo randomizado ideal “alvo”, a ferramenta utiliza o termo grupos de “intervenção” para se referir aos grupos de “tratamento” ou “exposição” em estudos observacionais, embora nenhuma intervenção real tenha sido implementada nestes pelos investigadores.⁵

Essa mimetização com um ensaio randomizado hipotético permite uma avaliação completa do risco de viés em EINR, independentemente da falta de randomização. Dessa forma, a classificação de “baixo risco” de viés do EINR corresponderia ao risco de viés em um ensaio clínico randomizado de alta qualidade.¹ Este aspecto da ferramenta faz com que EINR, na análise da certeza da evidência por meio da abordagem GRADE (Grading of Recommendations, Assessment, Development and Evaluations), que entraram na revisão sistemática e tenham sido avaliados com a ROBINS-I, comecem com alta certeza da evidência.⁶

Nesse estudo randomizado ideal “alvo”, é necessário definir o efeito da intervenção de interesse, que pode ser:

• Efeito da intenção de tratar (intention-to-treat): significa que os participantes serão avaliados como pertencentes ao grupo a que foram alocados, independentemente da adesão ao tratamento no decorrer do acompanhamento do estudo, ou seja, avaliação segundo a atribuição da intervenção na linha de base (baseline).
• Efeito por protocolo ou (per-protocol): significa que somente os participantes que realizaram todo o tratamento de acordo com o estabelecido no protocolo serão avaliados, os que não cumpriram o protocolo serão excluídos do grupo de estudo, ou seja, tanto a alocação no início do estudo quanto a adesão ao tratamento são importantes.

Essa decisão é importante, porque vai influenciar o julgamento do risco de viés com relação ao desvio da intervenção pretendida (intervenções diferentes daquelas determinadas no protocolo). Quando o efeito da intervenção de interesse é relacionado à alocação a determinado grupo de tratamento, antes do baseline, as avaliações do risco de viés, geralmente, não precisam se preocupar com os desvios das intervenções pós-baseline. É diferente do viés que deve ser avaliado em relação à alocação e à adesão ao tratamento, que requer consideração tanto à adesão quanto às diferenças nas intervenções adicionais (cointervenções) entre os grupos de intervenção.⁵

Além de determinar o efeito da intervenção de interesse, antes da avaliação propriamente dita, é necessário estabelecer tanto os fatores de confusão, aos quais os estudos podem estar sujeitos, quanto às cointervenções.

Fatores de confusão são os fatores prognósticos que podem predizer se um indivíduo recebe uma ou outra intervenção de interesse, por exemplo, acesso a plano de saúde, presença de comorbidades, gravidade da doença e nível socioeconômico. Enquanto cointervenções dizem respeito ao recebimento de intervenções ou exposições com o início da intervenção de interesse ou após sua implementação, que estão relacionadas à intervenção recebida e que são prognósticos para o desfecho de interesse, diferentes das intervenções estudadas e cuja frequência pode diferir entre os grupos de intervenção. A anestesia para uma cirurgia pode ser um exemplo de cointervenção em um estudo que compara cirurgia com tratamento usual não cirúrgico, pois pode ter impacto no desfecho pós-operatório do paciente.

Ressaltando que tanto fatores de confusão quanto cointervenções, podem ser identificados por meio do conhecimento dos membros da equipe de revisão, buscas na literatura e após discussões com profissionais de saúde.⁵

2.1. Domínios da ROBINS-I

A ferramenta é composta por sete domínios de risco de viés (Quadro 1). Os dois primeiros avaliam questões que precisam ser comparadas nos grupos em estudo no baseline, antes da implementação da intervenção, e são compostos por viés de confusão e seleção dos participantes. O terceiro classifica a própria intervenção. Já os quatro seguintes avaliam o risco de viés que pode estar presente após a implementação da intervenção: desvio da intervenção pretendida, perda de dados, mensuração do desfecho e relato seletivo de resultados.¹

Quadro 1. Domínios de viés da ferramenta ROBINS-I

Domínios de viés da ROBINS-I
Pré-intervenção	Viés devido à confusão
	Viés na seleção dos participantes do estudo
No momento da intervenção	Viés na classificação da intervenção
Pós-intervenção	Viés devido ao desvio da intervenção pretendida
	Viés devido aos dados faltantes
	Viés devido à mensuração do desfecho
	Viés devido ao relato seletivo de resultados

Fonte: adaptado de Sterne et al.¹

2.2. Respostas às questões de sinalização dos domínios de viés da ROBINS-I

A concepção da ferramenta foi baseada em “questões de sinalização” que se apresentam hierarquicamente (Figuras 1 e 2)⁵, sendo as opções de resposta:

• Sim (Yes);
• Provavelmente sim (Probably yes);
• Provavelmente não (Probably no);
• Não (No); e
• Sem informações (No information).

A análise é relativamente factual, ou seja, julga-se “o que aconteceu” ou “o que os pesquisadores fizeram”. Respostas “Sim” pretendem ter implicações semelhantes às respostas “Provavelmente sim” (assim como “Não” e “Provavelmente não”), mas permitem uma distinção entre algo que é conhecido e algo que é provável que seja o caso. A categoria “Sem informações” deve ser usada apenas quando não há dados suficientemente relatados que permitam o julgamento do domínio avaliado. Além disso, existe a possibilidade de resposta “Não aplicável”, que pode ser selecionada quando a equipe de revisão julgar que esse seja o caso para aquele determinado tema em avaliação.

Ademais, deve-se justificar cada resposta utilizando citações diretas do texto do estudo avaliado sempre que possível. Há, inclusive, um espaço na tabela fornecida pela ferramenta especificamente para essa justificativa (Figura 1).¹

As respostas às “questões de sinalização” que estão coloridas em verde, na ferramenta, são marcadores potenciais de baixo risco de viés, já as sinalizadas em vermelho, são marcadores potenciais de presença de risco de viés.¹ No entanto, algumas são respondidas apenas em determinadas circunstâncias, dependendo da resposta da questão anterior, seguindo a hierarquia da sua formulação. Um exemplo está apresentado na Figura 2, onde é possível observar que, caso a resposta da questão 2.1 seja “Sim” ou “Provavelmente sim”, a próxima pergunta a ser respondida é 2.2. Caso seja “Não” ou “Provavelmente não”, deve-se seguir respondendo à questão 2.4.⁵

Figura 1. Template ROBINS-I mostrando o espaço reservado para a justificativa do julgamento do risco de viés em cada questão de sinalização

Fonte: extraído de Sterne et al.⁵

Figura 2. Exemplo de domínio de viés da ROBINS-I salientando a hierarquia das questões de sinalização

Fonte: extraído de Sterne et al.⁵

2.3. Aplicação da ferramenta ROBINS-I

Os oito passos fundamentais para proceder a avaliação do risco de viés utilizando a ferramenta ROBINS-I na prática estão apresentados no Quadro 2, sendo que os passos de 4 a 8 devem ser aplicados para cada desfecho de interesse.^1,5 Salientando que o julgamento do risco de viés é feito por desfecho e não por estudo.

Quadro 2: Passos para proceder a avaliação do risco de viés utilizando a ROBINS-I

Fase de protocolo da Revisão Sistemática	1. Estabelecer a pergunta de pesquisa com base no estudo randomizado ideal “alvo”.
	2. Listar os fatores de confusão relevantes para todos ou para a maioria dos estudos elegíveis para a revisão.
	3. Listar as possíveis cointervenções que podem diferir entre os grupos de intervenção e ter um impacto nos desfechos do estudo.
Avaliação propriamente dita	4. Especificar o desfecho avaliado e o efeito de interesse (adesão ao tratamento – intention to treat; ou alocação no início do estudo e adesão ao tratamento – per protocol).
	5. Examinar como os fatores de confusão e as cointervenções foram abordadas.
	6. Avaliar os sete domínios de risco de viés seguindo as “questões de sinalização”.
	7. Determinar o julgamento do risco de viés para cada um dos sete domínios, a partir das respostas às “questões de sinalização”.
	8. Formular um julgamento geral sobre o risco de viés para o desfecho avaliado.

Fonte: adaptado de Sterne et al.¹

Se a pergunta da Revisão Sistemática tem mais de um desfecho em análise, como por exemplo, os desfechos (D): dor (D1), qualidade de vida (D2) e tempo de retorno ao trabalho (D3), então cada um dos desfechos D1, D2, e D3 deve ser julgado em cada estudo que entrou na revisão e apresentou os desfechos determinados. A avaliação com o julgamento dos diferentes desfechos pode ser organizada conforme o Quadro 3.

Quadro 3. Exemplo hipotético de organização do julgamento do risco de viés quando há mais de um desfecho avaliado

Domínio	Julgamento por Desfecho Dor (D1), qualidade de vida (D2) e tempo de retorno ao trabalho (D3)	Comentário
Viés devido à confusão	D1: Sério	Não ajustou para fatores de confusão
	D2: Moderado	Ajuste para fatores de confusão foi adequado
	D3: Sério	Ajuste para fatores de confusão insuficiente
Viés na seleção dos participantes do estudo	D1/D2/D3 agrupados: Baixo	Mesmos problemas pensados ​​para se aplicar a todos
Viés na classificação da intervenção	D1/D2/D3 agrupados: Baixo	Mesmos problemas pensados ​​para se aplicar a todos
Viés devido ao desvio da intervenção pretendida	D1/D2/D3 agrupados: Moderado	Mesmos problemas pensados ​​para se aplicar a todos
Viés devido aos dados faltantes	D1: Baixo	Todos os participantes foram acompanhados
	D2/D3 agrupados: Sem informações	Houve perda de dados para os mesmos participantes
Viés devido à mensuração do desfecho	D1/D2 agrupados: Baixo	Medidas de desfecho objetivas em ambos
	D3: Sério	Possibilidade de viés devido à falta de cegamento do avaliador do desfecho
Viés devido ao relato seletivo de resultados	D1: Moderado	Pouco provável que tenha havido manipulação de dados
	D2: Moderado	Pouco provável que tenha havido manipulação de dados
	D3: Sério	Ponto de corte utilizado sem justificativa

Fonte: adaptado de Sterne et al.⁵

3. Interpretação

3.1. Parâmetros para avaliar os sete domínios de risco de viés seguindo as questões de sinalização.

As avaliações, conforme a sugestão da ferramenta, estão apresentadas ao final do presente capítulo, no Quadro 7 (conforme original, em inglês).

 3.2. Julgamentos sobre o risco de viés em nível de domínio (avaliando cada um dos sete domínios)

As opções de julgamento para cada um dos domínios da ferramenta são:

• Risco de viés baixo (o estudo é comparável a um ensaio randomizado bem executado, no que diz respeito a este domínio);
• Risco de viés moderado (o estudo é válido para um estudo não randomizado com relação a este domínio, mas não pode ser considerado comparável a um ensaio randomizado bem executado);
• Risco de viés sério (o estudo tem alguns problemas importantes neste domínio);
• Risco de viés crítico (o estudo é muito problemático, neste domínio, para fornecer qualquer evidência útil sobre os efeitos da intervenção); e
• Sem informações para basear um julgamento sobre o risco de viés para este domínio.

Para fazer o julgamento, os avaliadores precisam considerar a gravidade do viés no domínio avaliado e as suas consequências para o desfecho, de modo que, se nenhuma das respostas às perguntas de sinalização para um domínio sugerir um problema potencial, o risco de viés para o domínio em questão pode ser considerado baixo. Caso contrário, os avaliadores devem fazer um julgamento para avaliar em que medida os resultados do estudo estão sob risco de viés e, então, atribuir risco moderado, sério ou crítico. Essa avaliação se dá sobre as questões que podem afetar a capacidade de tirar conclusões válidas do estudo.⁵

 3.3. Julgamento geral sobre o risco de viés (Overall)

Após o julgamento do risco de viés em cada um dos sete domínios, é necessário estabelecer o julgamento geral sobre o risco de viés do desfecho que está sendo avaliado.⁵ Para isso, a ferramenta sugere os critérios apresentados no Quadro 4.

Quadro 4. Julgamento do risco de viés por desfecho

Overall (julgamento do risco de viés para o desfecho)	Julgamento do risco de viés nos domínios
Risco de viés baixo (o estudo é comparável a um ensaio randomizado bem executado, no que diz respeito a este domínio).	O estudo é considerado de baixo risco de viés para todos os domínios.
Risco de viés moderado (o estudo é válido para um estudo não randomizado com relação a este domínio, mas não pode ser considerado comparável a um ensaio randomizado bem executado).	O estudo é considerado de risco baixo ou moderado de viés para todos os domínios.
Risco de viés sério (o estudo tem alguns problemas importantes neste domínio)	O estudo é considerado como estando em sério risco de viés em, pelo menos, um domínio, mas não em risco crítico de viés em qualquer outro domínio.
Risco de viés crítico (o estudo é muito problemático, neste domínio, para fornecer qualquer evidência útil sobre os efeitos da intervenção)	O estudo é considerado de risco crítico de viés em, pelo menos, um domínio.
Nenhuma informação para basear um julgamento sobre o risco de viés para este domínio	Não há nenhuma indicação clara de que o estudo corre risco sério ou crítico de viés e há falta de informações em um ou mais domínios-chave (fazer um para isso).

Fonte: adaptado de Sterne et al.⁵

4. Apresentação dos resultados

O detalhamento de como gerar as figuras para apresentar a ROBINS-I no artigo de Revisão Sistemática utilizando a robvis está descrito no Capítulo 15.

Na sequência são apresentadas outras formas de apresentação da ROBINS-I que também podem ser utilizadas.

Como a ferramenta sugere que sejam apresentadas as justificativas para cada julgamento, faz-se necessário incluir um apêndice com essa informação como na Tabela 1.

Tabela 1. Exemplo de material suplementar com o julgamento completo do risco de viés com a ferramenta ROBINS-I, incluindo justificativa

Study	D1	D2	D3	D4	D5	D6	D7	Overall	Reason
Santos 2005	Low	No information	Low	Low	No information	Serious	Low	Serious	Start of follow-up – seven days and start of interventions not informed if coincide for most participants. There is no information if participants were excluded due to missing data on intervention status. Outcome assessors not blinded and not trained. The qualification of outcome assessor is not informed.
Santos 2008	Low	No information	Low	Low	No information	Serious	Low	Serious	Start of follow-up – seven days and start of interventions not informed if coincide for most participants. There is no information if participants were excluded due to missing data on intervention status. Outcome assessors not blinded and not trained. The qualification of outcome assessor is not informed.
Soares 2010	Low	No information	Low	Low	Moderate	Serious	Critical	Low	Start of follow-up – 15 days apart the intervention however no information about start of intervention. Is there evidence that results were robust to the presence of missing data. Probably not. Outcome assessors were aware of the intervention received by study participants.

D1, confounding, D2 selection of participants, D3, classification of the interventions, D4, biases due to deviations from intended interventions, D5, missing data, D6, measurement of outcomes, and D7 selection of the reported result.

Fonte: adaptado de Silveira et al.⁸

Eventualmente, os artigos podem apresentar somente um quadro resumido com o julgamento de viés, como no exemplo do Quadro 5.

Quadro 5. Exemplo de apresentação do julgamento do risco de viés com a ferramenta ROBINS-I

Study	Confounding	Selection	Measurement of intervention	Deviation from intended intervention	Missing data	Measurement of outcomes	Reported results	Overall
Alm et al. (2011)	Critical	Low	Moderate	Not Informed	Low	Moderate	Moderate	Critical
Bhoomika et al. (2013)	Serious	Moderate	Moderate	Low	Low	Moderate	Low	Serious
Davidson et al. (2016)	Serious	Moderate	Moderate	Moderate	Low	Moderate	Low	Serious
Kay et al. (2010)	Serious	Low	Low	Low	Low	Moderate	Low	Serious
Marshall et al. (2007)	Moderate	Low	Low	Moderate	Low	Low	Moderate	Moderate
Porhashemi et al. (2016)	Critical	Moderate	Moderate	Critical	Critical	Moderate	Critical	Critical
Ribeiro et al. (2017)	Moderate	Serious	Moderate	Moderate	Serious	Moderate	Low	Serious
Vania et al. (2011)	Critical	Moderate	Moderate	Moderate	Low	Serious	Low	Critical
Zaror et al. (2014)	Serious	Serious	Moderate	Moderate	Moderate	Critical	Moderate	Critical

Fonte: adaptado de Manohar et al.⁷

Quadro 6. Exemplo de apresentação do julgamento com a ferramenta ROBINS-I quando há mais de um desfecho em avaliação

C, critical; L, low; M, moderate; NI, not informed; O, outcome; S, serious

Fonte: adaptado de Sterne et al.⁵

Quadro 7. Parâmetros para avaliar os sete domínios de risco de viés seguindo as questões de sinalização

Risk of bias	Confounding	Selection of participants into the study	Classification of interventions	Deviations from intended interventions	Missing data	Measurement of outcomes	Selection of the reported result
Low risk of bias (the study is comparable to a well-performed randomized trial with regard to this domain)	No confounding expected.	(i) All participants who would have been eligible for the target trial were included in the study; and (ii) For each participant, start of follow up and start of intervention coincided.	(i) Intervention status is well defined; and (ii) Intervention definition is based solely on information collected at the time of intervention.	Effect of assignment to intervention: (i) Any deviations from intended intervention reflected usual practice; or (ii) Any deviations from usual practice were unlikely to impact on the outcome. Effect of starting and adhering to intervention: The important co-interventions were balanced across intervention groups, and there were no deviations from the intended interventions (in terms of implementation or adherence) that were likely to impact on the outcome.	(i) Data were reasonably complete; or (ii) Proportions of and reasons for missing participants were similar across intervention groups; or (iii) The analysis addressed missing data and is likely to have removed any risk of bias.	(i) The methods of outcome assessment were comparable across intervention groups; and (ii) The outcome measure was unlikely to be influenced by knowledge of the intervention received by study participants (i.e. is objective) or the outcome assessors were unaware of the intervention received by study participants; and (iii) Any error in measuring the outcome is unrelated to intervention status.	There is clear evidence (usually through examination of a pre- registered protocol or statistical analysis plan) that all reported results correspond to all intended outcomes, analyses and sub- cohorts.
Moderate risk of bias (the study is sound for a non-randomized study with regard to this domain but cannot be considered comparable to a well- performed randomized trial)	(i) Confounding expected, all known important confounding domains appropriately measured and controlled for; and (ii) Reliability and validity of measurement of important domains were sufficient, such that we do not expect serious residual confounding.	(i) Selection into the study may have been related to intervention and outcome; and The authors used appropriate methods to adjust for the selection bias; or (ii) Start of follow up and start of intervention do not coincide for all participants; and (a) the proportion of participants for which this was the case was too low to induce important bias; or (b) the authors used appropriate methods to adjust for the selection bias; or (c) the review authors are confident that the rate (hazard) ratio for the effect of intervention remains constant over time.	(i) Intervention status is well defined; and (ii) Some aspects of the assignments of intervention status were determined retrospectively.	Effect of assignment to intervention: There were deviations from usual practice, but their impact on the outcome is expected to be slight. Effect of starting and adhering to intervention: (i) There were deviations from intended intervention, but their impact on the outcome is expected to be slight. or (ii) The important co-interventions were not balanced across intervention groups, or there were deviations from the intended interventions (in terms of implementation and/or adherence) that were likely to impact on the outcome; and The analysis was appropriate to estimate the effect of starting and adhering to intervention, allowing for deviations (in terms of implementation, adherence and co-intervention) that were likely to impact on the outcome.	(i) Proportions of and reasons for missing participants differ slightly across intervention groups; and (ii) The analysis is unlikely to have removed the risk of bias arising from the missing data.	(i) The methods of outcome assessment were comparable across intervention groups; and (ii) The outcome measure is only minimally influenced by knowledge of the intervention received by study participants; and (iii) Any error in measuring the outcome is only minimally related to intervention status.	(i) The outcome measurements and analyses are consistent with an a priori plan; or are clearly defined and both internally and externally consistent; and (ii) There is no indication of selection of the reported analysis from among multiple analyses; and (iii) There is no indication of selection of the cohort or subgroups for analysis and reporting on the basis of the results.
Serious risk of bias (the study has some important problems)	(i) At least one known important domain was not appropriately measured, or not controlled for; or (ii) Reliability or validity of measurement of an important domain was low enough that we expect serious residual confounding.	(i) Selection into the study was related (but not very strongly) to intervention and outcome; and This could not be adjusted for in analyses; or (ii) Start of follow up and start of intervention do not coincide; and A potentially important amount of follow-up time is missing from analyses; and The rate ratio is not constant over time.	(i) Intervention status is not well defined; or (ii) Major aspects of the assignments of intervention status were determined in a way that could have been affected by knowledge of the outcome.	Effect of assignment to intervention: There were deviations from usual practice that were unbalanced between the intervention groups and likely to have affected the outcome. Effect of starting and adhering to intervention: (i) The important co-interventions were not balanced across intervention groups, or there were deviations from the intended interventions (in terms of implementation and/or adherence) that were likely to impact on the outcome; and (ii) The analysis was not appropriate to estimate the effect of starting and adhering to intervention, allowing for deviations (in terms of implementation, adherence and co-intervention) that were likely to impact on the outcome.	(i) Proportions of missing participants differ substantially across interventions; or Reasons for missingness differ substantially across interventions; and (ii) The analysis is unlikely to have removed the risk of bias arising from the missing data; or Missing data were addressed inappropriately in the analysis; or The nature of the missing data means that the risk of bias cannot be removed through appropriate analysis.	(i) The methods of outcome assessment were not comparable across intervention groups; or (ii) The outcome measure was subjective (i.e. vulnerable to influence by knowledge of the intervention received by study participants); and The outcome was assessed by assessors aware of the intervention received by study participants; or (iii) Error in measuring the outcome was related to intervention status.	(i) Outcomes are defined in different ways in the methods and results sections, or in different publications of the study; or (ii) There is a high risk of selective reporting from among multiple analyses; or (iii) The cohort or subgroup is selected from a larger study for analysis and appears to be reported on the basis of the results.
Critical risk of bias (the study is too problematic to provide any useful evidence on the effects of intervention)	(i) Confounding inherently not controllable or (ii) The use of negative controls strongly suggests unmeasured confounding.	(i) Selection into the study was very strongly related to intervention and outcome; and This could not be adjusted for in analyses; or (ii) A substantial amount of follow-up time is likely to be missing from analyses; and The rate ratio is not constant over time.	(Unusual) An extremely high amount of misclassification of intervention status, e.g. because of unusually strong recall biases.	Effect of assignment to intervention: There were substantial deviations from usual practice that were unbalanced between the intervention groups and likely to have affected the outcome. Effect of starting and adhering to intervention: (i) There were substantial imbalances in important co-interventions across intervention groups, or there were substantial deviations from the intended interventions (in terms of implementation and/or adherence) that were likely to impact on the outcome; and (ii) The analysis was not appropriate to estimate the effect of starting and adhering to intervention, allowing for deviations (in terms of implementation, adherence and co-intervention) that were likely to impact on the outcome.	(i) (Unusual) There were critical differences between interventions in participants with missing data; and (ii) Missing data were not, or could not, be addressed through appropriate analysis.	The methods of outcome assessment were so different that they cannot reasonably be compared across intervention groups.	(i) There is evidence or strong suspicion of selective reporting of results; and (ii) The unreported results are likely to be substantially different from the reported results.
No information on which to base a judgement about risk of bias for this domain	No information on whether confounding might be present.	No information is reported about selection of participants into the study or whether start of follow up and start of intervention coincide.	No definition of intervention or no explanation of the source of information about intervention status is reported.	No information is reported on whether there is deviation from the intended intervention.	No information is reported about missing data or the potential for data to be missing.	No information is reported about the methods of outcome assessment.	There is too little information to make a judgement (for example if only an abstract is available for the study).

Fonte: adaptado de Sterne et al.⁵

 

Referências

1. Sterne JA, Hernán MA, Reeves BC, Savović J, Berkman ND, Viswanathan M, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ [Internet]. 2016 Oct [cited 2021 Jul 29];355:i4919. Available from: https://www.bmj.com/lookup/doi/10.1136/bmj.i4919
2. Sanderson S, Tatt ID, Higgins JP. Tools for assessing quality and susceptibility to bias in observational studies in epidemiology: a systematic review and annotated bibliography. Int J Epidemiol [Internet]. 2007 Jun [cited 2021 Jul 29];36(3):666-76. Available from: https://doi.org/10.1093/ije/dym018
3. Higgins JPT, Altman DG, Gøtzsche PC, Jüni P, Moher D, Oxman AD, et al. The Cochrane Collaboration’s tool for assessing risk of bias in randomised trials. BMJ [Internet]. 2011 Oct [cited 2021 Aug 02];343:d5928. Available from: https://doi.org/10.1136/bmj.d5928
4. Whiting PF, Rutjes AW, Westwood ME, Mallett S, Deeks JJ, Reitsma JB, et al. QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies. Ann Intern Med [Internet]. 2011 Oct [cited 2021 Jul 29];155(8):529-36. Available from: https://doi.org/10.7326/0003-4819-155-8-201110180-00009.
5. Sterne JAC, Higgins JPT, Elbers RG, Reeves BC and the development group for ROBINS-I. Risk Of Bias In Non-randomized Studies of Interventions (ROBINS-I): detailed guidance [Internet]. Bristol, UK: University of Bristol; 2016 [cited 2021 May 31]. p. 53. Available from: https://www.riskofbias.info
6. Schünemann HJ, Cuello C, Akl EA, Mustafa RA, Meerpohl JJ, Thayer K, et al. GRADE guidelines: 18. How ROBINS-I and other tools to assess risk of bias in nonrandomized studies should be used to rate the certainty of a body of evidence. J Clin Epidemiol [Internet]. 2019 Jul [cited 2021 Jul 29]; 111:105-14. Available from: https://doi.org/10.1016/j.jclinepi.2018.01.012
7. Manohar N, Hayen A, Fahey P, Arora A. Obesity and dental caries in early childhood: a systematic review and meta-analyses. Obes Rev [Internet]. 2020 Mar [cited 2021 Aug 02];21(3):e12960. Available from: https://doi.org/10.1111/obr.12960
8. Silveira DQI, Lia EN, Massignan C, Stefani CM. Natural products for the treatment of denture stomatitis: a systematic review. J Prosthet Dent [Internet]. 2021 Jul [cited 2021 Aug 02]:S0022-3913(21)00315-2. Available from: https://doi.org/10.1016/j.prosdent.2021.05.022