RISCO DE VIÉS EM REVISÕES SISTEMÁTICAS: GUIA PRÁTICO (COBE/UFSC)

CAPÍTULO 13

 Análise do Risco de Viés de Revisões Sistemáticas com a Ferramenta ROBIS

Patrícia Pauletto, Carla Massignan, Cristine Miron Stefani, Carolina Castro Martins, Graziela De Luca Canto

1. Introdução

O ROBIS é um instrumento utilizado para avaliar o risco de viés de Revisões Sistemáticas (RS) desenvolvido pelo grupo ROBIS, com autores da Universidade de Bristol (Reino Unido), da Universidade de Otawa (Canadá) e da Universidade de Maastricht (Países Baixos). O instrumento foi criado com uma rigorosa metodologia e pode ser aplicado em quatro dos principais tipos de Revisões Sistemáticas na área da saúde: intervenção, diagnóstico, prognóstico e etiologia.

O ROBIS é utilizado por desenvolvedores de diretrizes, autores de overviews, bem como autores de RS que desejam avaliar ou evitar o risco de viés em seus manuscritos.¹ Sendo dividido em três etapas, conforme apresentado na Figura 1:

Figura 1. Etapas de avaliação do risco de viés em Revisões Sistemáticas pelo ROBIS

Fonte: elaborada pelos autores.

Em cada etapa, perguntas de sinalização devem ser respondidas para ajudar a julgar as preocupações com os processos e o risco geral de viés na RS.

 2. Aplicação

O processo de aplicação da ferramenta deve seguir os passos previstos no Capítulo 1.

A análise proposta pelos desenvolvedores da ferramenta está descrita a seguir.

 Etapa 1: Avaliação da relevância (opcional)

A primeira etapa é a única considerada opcional, então os autores podem escolher entre responder ou não a uma única pergunta de sinalização.

1. A pergunta abordada pela revisão corresponde à pergunta alvo?

As possibilidades de resposta são: “Sim”, “Não” ou “Incerto”.

Etapa 2: Identificação de preocupações com o processo de revisão

A Etapa 2 busca identificar as áreas em que o viés pode ser introduzido na Revisão Sistemática, contribuindo para o julgamento do risco geral de viés na fase final. Esta etapa está dividida em quatro domínios que abordam as principais etapas de uma RS, conforme apresentado na Figura 2.

Figura 2. Domínios a serem avaliados pela etapa 2 da avaliação do risco de viés de Revisões Sistemáticas pelo ROBIS

Fonte: elaborada pelos autores.

Cada domínio compreende três seções: (A) questões de sinalização, (B) justificativas para apoiar o julgamento e (C) julgamento de preocupação sobre o risco de viés (Figura 3). Os domínios devem ser considerados sequencialmente e não avaliados como unidades autônomas.

Figura 3. Estrutura da avaliação por domínios correspondente à Etapa 2 do processo de julgamento

Fonte: adaptado da University of Bristol.²

As possibilidades de resposta para as questões de sinalização são: “Sim”, “Provavelmente sim”, “Provavelmente não”, “Não” e “Não informado”. Na avaliação geral do estudo em análise, as respostas “Provavelmente sim” e “Provavelmente não” são consideradas como sim e não, respectivamente. Há a necessidade dessas respostas, porque, com certa frequência, os artigos não apresentam informações suficientes para os autores julgarem como “Sim” ou “Não” com total confiança. Já a categoria “Não informado” deve ser usada somente quando dados insuficientes são relatados para permitir um julgamento.

Após atribuir respostas aos itens de cada domínio, os autores devem atribuir uma justificativa final, ou seja, preocupações com relação à especificação dos critérios de elegibilidade do estudo, podendo ser: Baixa, Alta ou Incerta.

Abaixo encontram-se descritos os domínios com as possibilidades de respostas. Para informações mais detalhadas, é possível acessar o guia online de como usar o ROBIS.³

Domínio 1: Critério de elegibilidade dos estudos

Pergunta sinalizadora 1. A revisão obedeceu a objetivos predefinidos e critérios de elegibilidade?

Sugere-se que a resposta seja:

“Sim”, se houver um protocolo que forneça em detalhes os critérios de elegibilidade.

“Provavelmente Sim”, se não há registro de protocolo, mas são fornecidas informações sobre objetivos predefinidos e critérios de elegibilidade detalhados, e há boas razões para acreditar que foram especificados com antecedência e seguidos ao longo da revisão.

“Provavelmente Não”, quando desvios do protocolo não forem justificados no texto e na ausência de um protocolo pré-publicado, onde as informações estão disponíveis apenas na publicação da revisão, a menos que haja alguma razão para acreditar que esses detalhes foram especificados com antecedência e seguidos desde o início da revisão.

“Não”, quando todos ou alguns desses detalhes estão faltando.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 2. Os critérios de elegibilidade foram apropriados para a questão da revisão?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, se os critérios de elegibilidade são oriundos da pergunta de pesquisa e são descritos em detalhes, a fim de permitir o julgamento se os estudos incluídos são apropriados para a pergunta de pesquisa.

“Não” ou “Provavelmente Não”, se não há detalhes suficientes descrevendo os critérios de elegibilidade.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 3. Os critérios de elegibilidade foram claramente definidos?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, se os critérios de elegibilidade forem suficientemente detalhados para que a revisão possa ser replicada usando os mesmos critérios especificados, evitando-se quaisquer ambiguidades. Detalhes específicos sobre intervenções/exposições e comparadores devem ser fornecidos, incluindo características como dose de medicamento, frequência de administração, tratamentos simultâneos, diagnóstico da condição.

“Não” ou “Provavelmente Não”, quando houver dúvidas sobre os critérios de elegibilidade declarados.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 4. Todas as restrições dos critérios de elegibilidade baseadas nas características dos estudos foram apropriadas (por exemplo, data, tamanho da amostra, qualidade do estudo, resultados medidos)?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, se todas as restrições aplicadas com base nas características do estudo foram claramente descritas e uma justificativa sólida foi fornecida. Ou quando nenhuma restrição em torno das características do estudo é explicitamente relatada, pois se presume que nenhuma restrição foi imposta.

“Não” ou “Provavelmente Não”, quando as restrições não são justificadas.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 5. Quaisquer restrições nos critérios de elegibilidade baseadas nas fontes de informações foram apropriadas (por exemplo, status ou formato da publicação, idioma, disponibilidade de dados)?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, se todas as restrições aplicadas com base nas fontes de informação foram claramente descritas e uma justificativa convincente foi fornecida. Esses detalhes permitirão aos avaliadores julgar se tais restrições foram apropriadas. Se nenhuma restrição com base nas fontes de dados é relatada, devemos presumir que não foi adotada, então a pergunta deve ser respondida com “Sim”.

“Não” ou “Provavelmente Não”, se restrições foram aplicadas e não foram justificadas ou se os avaliadores julgarem as justificativas como não procedentes.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

 Domínio 2 – Identificação e seleção dos estudos

Pergunta sinalizadora 1. A busca nas bases de dados incluiu um número apropriado de bases de dados e fontes eletrônicas de artigos publicados e não publicados?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, se os autores realizaram buscas em, pelo menos, duas bases de dados, como MEDLINE e Embase, além de busca em fontes de artigos não publicados (literatura cinzenta).⁴

“Não” ou “Provavelmente Não”, se não houve a busca em, pelo menos, duas grandes bases de dados e se não foi realizada busca da literatura cinzenta.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 2. Foram utilizados métodos adicionais à pesquisa nas bases de dados para identificar publicações relevantes?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, se foram executados métodos adicionais de busca, como pesquisas de citações, contato com especialistas, verificação de referências, busca manual etc.

“Não” ou “Provavelmente Não”, caso não tenham sido realizadas buscas adicionais.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

 Pergunta sinalizadora 3. Os termos e a estrutura da estratégia de busca tinham probabilidade de identificar tantos estudos elegíveis quanto possível?

Sugere-se que a resposta seja:

“Sim”, se a revisão apresenta uma estratégia de busca completa, mostrando todos os termos de pesquisa.

“Provavelmente Sim” ou “Provavelmente Não”, se apenas detalhes limitados forem fornecidos, como uma lista de termos sem indicação de como eles foram combinados.

“Não”, se algum filtro foi aplicado. A aplicação de filtros na estratégia pode prejudicar o desempenho da busca.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 4. As restrições baseadas no período de publicação, formato de publicação ou idioma foram apropriadas?

Sugere-se que a resposta seja:

“Sim”, se não houve restrições na estratégia de busca ou se houver alguma restrição que seja devidamente justificada.

“Não”, se houver uma restrição de artigos com base no idioma (por exemplo, inglês) ou formato de publicação (por exemplo, restrição a estudos publicados em texto completo), pois essas restrições quase nunca são apropriadas.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 5. Foram feitos esforços para minimizar o erro na seleção dos estudos?

Sugere-se que a resposta seja:

“Sim”, se a fase de títulos e resumos e leitura do texto completo foram realizadas de forma independente por, pelo menos, dois revisores.

“Não”, se a seleção dos estudos aconteceu através de um único revisor ou dois revisores de maneira não independente.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Domínio 3: Coleta de dados e avaliação do estudo

Pergunta sinalizadora 1. Foram feitos esforços para minimizar o erro na coleta de dados?

Sugere-se que a resposta seja:

“Sim”, se houve o envolvimento de, pelos menos, dois revisores independentes na coleta de dados ou coleta realizada por um revisor com verificação detalhada de um segundo revisor, a fim de minimizar vieses e erros no processo e coleta de dados.

“Não”, se a coleta de dados foi realizada por um único revisor.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 2. As características dos estudos estavam disponíveis de maneira suficiente para os autores da revisão e os leitores serem capazes de interpretar os resultados?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente sim”, se as características das revisões incluídas foram suficientes para permitir uma interpretação apropriada dos resultados. Essas informações podem estar na seção de métodos, onde as informações sobre a coleta de dados são relatadas, podem estar disponíveis nas tabelas de características dos estudos incluídos ou serem resumidas no texto dos resultados. Nem sempre essas informações se encontram no manuscrito disponibilizado, dificultando a avaliação deste item, por isso, apêndices do artigo devem ser também consultados.

“Não” ou “Provavelmente Não”, se as características descritas são insuficientes para interpretar adequadamente os resultados.

Pergunta sinalizadora 3. Todos os resultados relevantes do estudo foram coletados para uso na síntese?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente sim”, se os autores da revisão relataram quais dados foram necessários coletar para a síntese dos resultados e em qual formato. Exemplo, se o objetivo é relatar uma estimativa por diferença de médias, a revisão sistemática deve reportar quais dados foram necessários coletar para seu cálculo, como a média baseline e a média final e intervalos de confiança.  Se essas informações não estiverem descritas em métodos, é possível verificar quais dados foram extraídos pelas tabelas de resultados, resumos gráficos ou dados relatados no texto. Também pode ser necessário consultar recursos adicionais, como apêndices.

“Não” ou “Provavelmente Não”, se informações detalhadas não estiverem descritas adequadamente.

Pergunta sinalizadora 4. O risco de viés (ou qualidade metodológica) foi formalmente avaliado usando critérios apropriados?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, se o risco de viés ou a qualidade metodológica foi realizada por uma ferramenta adequada ao desenho do estudo, uma vez que a avaliação formal de risco de viés é um componente essencial de uma Revisão Sistemática. Ferramentas adequadas podem ser a escala de risco de viés da Cochrane, para Ensaios Clínicos Controlados Randomizados (ECR) ou QUADAS-2, para estudos de testes diagnósticos. Se o risco de viés foi realizado, os avaliadores devem julgar se os critérios utilizados na avaliação são considerados apropriados para identificar fontes potenciais de viés nos estudos primários, dado o seu desenho de estudo.

“Não” ou “Provavelmente Não”, se não for realizada por um método inapropriado. Por exemplo, a pontuação da escala Jadad⁵ é amplamente utilizada, mas seus itens não incluem a ocultação de alocação, o que se mostra ser um grande risco potencial de viés em ECR.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 5. Foram feitos esforços para minimizar o erro na avaliação do risco de viés?

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, se, assim como na coleta de dados, a avaliação do risco de viés foi realizada por, no mínimo, dois avaliadores. Idealmente, a avaliação do risco de viés deve ser feita de forma independente, mas a avaliação por um avaliador e a verificação por um segundo também são aceitáveis.

“Não” ou “Provavelmente Não”, se a avaliação do risco de viés não foi realizada por dois avaliadores independentes ou, no mínimo, por um, com conferência de um segundo avaliador.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Domínio 4: Síntese e Resultados

Pergunta sinalizadora 1. A síntese incluiu todos os estudos que deveria?

É importante verificar se os autores da Revisão Sistemática falharam ao coletar dados dos estudos principais, seja qual for o motivo, por significância estatística ou falta de familiaridade com a análise estatística usada no estudo original. Essas falhas na extração de dados podem gerar viés de seleção de resultados pelos autores.

Sugere-se que a resposta seja:

“Sim” ou “Provavelmente Sim”, quando essas falhas não forem detectadas. Sugere-se avaliar se o número de estudos incluídos é compatível com o número de estudos sintetizados. Uma incompatibilidade nesse número levantaria uma dúvida de a razão de alguns estudos não terem sido incluídos nas análises. Em revisões com um grande número de estudos, gráficos de funil e análises estatísticas relacionadas podem fornecer dicas quanto à possibilidade de viés seletivo.

“Não” ou “Provavelmente Não”, se uma incompatibilidade no número é detectada sem justificativa.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

 Pergunta sinalizadora 2. Todas as análises predefinidas foram relatadas ou as ausências explicadas?

Sugere-se que a resposta seja:

“Sim”, se a revisão seguiu um protocolo publicado.

“Parcialmente Sim”, se houve uma indicação de que as análises predefinidas foram seguidas, por exemplo, se a seção de métodos parece rigorosa e todas as análises mencionadas são abordadas nos resultados.

“Não”, na ausência clara de um protocolo pré-especificado.

“Não Informado”, se a Revisão Sistemática não fizer referência à existência ou ausência de um protocolo.

Pergunta sinalizadora 3. A síntese foi apropriada, dada a natureza e semelhança na pergunta de pesquisa, projetos de estudo e resultados dos estudos incluídos?

Sugere-se que a resposta seja:

“Sim” ou “Parcialmente Sim”, se um método considerado adequado de combinação de estudos foi utilizado, incluindo a ponderação apropriada de cada estudo. Em caso de meta-análise, os avaliadores devem julgar se o método estatístico de combinar os resultados foi adequado, por exemplo, como um método para “pesar” cada estudo, bem como avaliar a variabilidade entre estudos, em que o método aleatório pode ser considerado mais apropriado que o fixo.

Deve-se lembrar que a meta-análise de efeitos aleatórios simples não é apropriada quando há uma forte relação entre o tamanho do estudo e o tamanho do efeito (pequenos efeitos do estudo ou assimetria do gráfico de funil). Nestes casos, é apropriado usar análise de regressão ou análise de subgrupos, quando há estudos suficientes para explorar possíveis motivos de tal variação. Para estudos de acurácia de testes diagnósticos, um método comumente aceito é uma abordagem bivariada para explicar a correlação entre sensibilidade e especificidade.

“Não” ou “Parcialmente Não”, quando são utilizados métodos de combinação de estudos que ponderam todos os estudos igualmente ​​(por exemplo, contagem de votos).

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 4. A variação entre os estudos (heterogeneidade) foi mínima ou abordada na síntese?

Sugere-se que a resposta seja:

“Sim” ou “Parcialmente Sim”, se um modelo de efeitos randômicos é usado apropriadamente para avaliar a variabilidade entre os estudos através de teste estatístico como o χ² de Cochrane ou Ϙ, ou variância entre os estudos (Τ) ou I² para heterogeneidade. Se o modelo de efeito fixo for usado na presença de heterogeneidade, é importante que os autores reconheçam que a análise ignorou a heterogeneidade. Se modelo de efeitos randômicos for usado, devem-se usar outras análises para explorar a heterogeneidade, com análise de subgrupo ou metarregressão. No entanto, meta-análises de efeitos randômicos de estudos que são extremamente diversos em características ou resultados podem produzir um resultado sem sentido, especialmente se os resultados dos estudos apontam efeitos em direções opostas. Se uma síntese narrativa foi conduzida com a justificativa que uma combinação estatística era inadequada devido à heterogeneidade clínica, a pergunta também deve ser respondida como “Sim” ou “Parcialmente Sim”.

“Não” ou “Parcialmente Não”, quando a heterogeneidade não foi avaliada e em casos de meta-análise que utilizam efeitos fixos sem análises adicionais para explorar a fonte da variação.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 5. Os resultados foram robustos, por exemplo, como demonstrado por meio do gráfico de funil ou análises de sensibilidade?

Sugere-se que a resposta seja:

“Sim” ou “Parcialmente Sim”, se a revisão mostra robustez nos resultados, caso outras abordagens ou testes indicarem que a síntese dos resultados não muda. Esses testes podem ser: gráfico de funil ou método Trim-and-fill para viés de publicação, ou teste de sensibilidade. No entanto, não basta somente realizar a análise de sensibilidade para ser classificado como “Sim” ou “Provavelmente sim”, os avaliadores devem decidir se o uso desses testes mostrou que os resultados são robustos. Em caso de síntese narrativa, se diferentes abordagens para sintetizar os estudos levariam às mesmas conclusões.

“Não” ou “Parcialmente Não”, se houver poucos estudos ou estudos muito heterogêneos, mostrando que os resultados não são robustos, mesmo que os revisores tenham implementado análises de sensibilidade. Também em casos de síntese narrativa, se diferentes abordagens para sintetizar os estudos poderiam ter levado a diferentes conclusões.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

Pergunta sinalizadora 6. Os vieses nos estudos primários foram mínimos ou abordados na síntese?

Sugere-se que a resposta seja:

“Sim” ou “Parcialmente Sim”, se os avaliadores concordarem que todos os vieses importantes nos estudos incluídos foram abordados pelos autores.

“Não” ou “Parcialmente Não”, se os avaliadores julgarem haver um viés importante nos estudos incluídos que foi ignorado pelos revisores. Esse caso inclui quando a Revisão Sistemática não avalia o risco de viés ou quando ele é avaliado, mas não incorporado aos resultados e conclusões.

“Não Informado”, se as informações relatadas são consideradas insuficientes para determinar um julgamento.

O Quadro 1 apresenta os itens da ferramenta, na versão original, em inglês.

Quadro 1. Formulário para avaliação do risco de viés em Revisões Sistemáticas com itens originais da ferramenta ROBIS

RISK OF BIAS FOR SYSTEMATIC REVIEWS (ROBIS)

STEP 1

1. Does the question addressed by the review match the question you are trying to answer (e.g. in your overview or guideline)?

STEP 2

Domain 1 – Study Eligibility Criteria

1.1 Did the review adhere to pre-defined objectives and eligibility criteria?

1.2 Were the eligibility criteria appropriate for the review question?

1.3 Were eligibility criteria unambiguous?

1.4 Were all restrictions in eligibility criteria based on study characteristics appropriate?

1.5 Were any restrictions in eligibility criteria based on sources of information appropriate?

Concerns regarding specification of study eligibility criteria

Domain 2 – Identification and Selection Of Studies

2.1 Did the search include an appropriate range of databases/ electronic sources for published and unpublished reports?

2.2 Were methods additional to database searching used to identify relevant reports?

2.3 Were the terms and structure of the search strategy likely to retrieve as many eligible studies as possible?

2.4 Were restrictions based on date, publication format, or language appropriate?

2.5 Were efforts made to minimize errors in selection of studies?

Concerns regarding specification of study eligibility criteria

Domain 3 – Data Collection and Study Appraisal

3.1 Were efforts made to minimize error in data collection?

3.2 Were sufficient study characteristics available for both review authors and readers to be able to interpret the results?

3.3 Were all relevant study results collected for use in the synthesis?

3.4 Was risk of bias (or methodological quality) formally assessed using appropriate criteria?

3.5 Were efforts made to minimize error in risk of bias assessment?

Concerns regarding specification of study eligibility criteria

Domain 4 – Synthesis and Findings

4.1 Did the synthesis include all studies that it should?

4.2 Were all predefined analyses followed or departures explained?

4.3 Was the synthesis appropriate given the nature and similarity in the research questions, study designs and outcomes across included studies?

4.4 Was between-studies variation (heterogeneity) minimal or addressed in the synthesis?

4.5 Were the findings robust, e.g. as demonstrated through funnel plot or sensitivity analyses?

4.6 Were biases in primary studies minimal or addressed in the synthesis?

Concerns regarding specification of study eligibility criteria

STEP 3

Overall Risk of Bias

A. Did the interpretation of the results address all the concerns identified in Domains 1 to 4?

B. Was the relevance of the identified studies to the research question of the review properly considered?

C. Did the reviewers avoid emphasizing the results based on their statistical significance?

OVERALL RISK OF BIAS (LOW, HIGH, UNCLEAR)

Notes: Possible answers: Yes (Y); Probably Yes (PY); Probably No (PN); No (N); Not informed (NI).                                Concerns regarding each domain: LOW, UNCLEAR, HIGH

Fonte: adaptado de Whiting et al.³

3. Interpretação

Etapa 3 – Julgamento do Risco de Viés

Nesta etapa, é o momento de sintetizar os resultados identificados na Etapa 2. Para isso, os quatro domínios julgados anteriormente devem ser analisados e sintetizados em: “Preocupação Baixa”, “Preocupação Alta”, ou “Preocupação Incerta”, conforme o Quadro 2.

Quadro 2. Julgamento em preocupação baixa, alta ou incerta dos quatro domínios correspondentes da Etapa 2 da avaliação do risco de viés ROBIS

Domínios	Preocupação Baixa	Preocupação Alta	Preocupação Incerta
1.Critério de elegibilidade dos estudos	Esforço considerável	Restrições inadequadas foram impostas	Informações insuficientes para avaliar a questão
2.Identificação e seleção de estudos	Esforço considerável	Alguns estudos elegíveis, provavelmente, não serão incluídos na revisão.	Informações Insuficientes para avaliar a questão
3.Coleta de dados e avaliação dos estudos	Risco de viés avaliado usando critérios apropriados, extração de dados e avaliação do risco de viés envolveram dois revisores e as características e resultados do estudo relevantes foram extraídos	Algum viés foi introduzido através da coleta de dados e avaliação do risco de viés.	Informações insuficientes para avaliar a questão
4.Síntese e resultados	É improvável que a síntese produza resultados tendenciosos	A síntese, provavelmente, produzirá resultados tendenciosos	Informações insuficientes para avaliar a questão

Fonte: adaptado de Whiting, et al.³

Por fim, espera-se um julgamento final da revisão. Para guiar a decisão final, existem três questões que sumarizam as etapas anteriores e permitem um julgamento final, conforme o Quadro 3.

 Quadro 3. Etapa 3 da avaliação do risco de viés de Revisões Sistemáticas ROBIS, julgamento final

Risco de viés na revisão (Overall risk of bias)
A interpretação dos resultados abordou todas as preocupações identificadas nos Domínios 1 a 4?	Sim/ Parcialmente Sim/ Não/ Não Informado
A relevância dos estudos identificados para a questão de pesquisa da revisão foi devidamente considerada?	Sim/ Parcialmente Sim/ Não/ Não Informado
Os revisores evitaram enfatizar os resultados com base em sua significância estatística?	Sim/ Parcialmente Sim/ Não/ Não Informado
Risco de viés na revisão	Baixo, Alto, Incerto

Fonte: adaptado de University of Bristol.²

Após o julgamento dessas três questões finais, será obtido o risco de viés na revisão. Por exemplo, se uma questão for respondida “Sim” e as outras “Não”, o julgamento final será “Alto”. Lembrando que não há uma regra que dite o julgamento final e os autores do ROBIS contraindicam um escore final.

4. Apresentação dos resultados

A apresentação dos resultados da ferramenta de avaliação do risco de viés em Revisões Sistemáticas – ROBIS pode ser feita por meio de apresentação tabular dos resultados, como ilustrado no Quadro 4.

 Quadro 4. Exemplo da apresentação dos resultados da avaliação do risco de viés em Revisões Sistemáticas com a ferramenta ROBIS

Fonte: adaptado de Whiting et al.¹

Outra possibilidade é a criação de gráficos de do tipo “semáforo” ou de “barras ponderadas” utilizando a ferramenta online robvis⁶, conforme passo a passo descrito no Capítulo 15 deste livro, utilizando o template “Generic dataset”.

Os resultados da aplicação do ROBIS também podem ser representados por meio de gráficos de setores (pizza), elaborados no Microsoft Excel ou outro software equivalente (Figura 4). A cor escura indica o risco de viés geral e as cores claras, as preocupações com os domínios julgados na Etapa 2 da ferramenta ROBIS. Optando-se por esse formato, deve-se confeccionar um gráfico de pizza para cada Revisão Sistemática incluída.

Figura 4. Exemplo de apresentação, por gráfico de pizza, dos resultados da avaliação do risco de viés em Revisões Sistemáticas com a ferramenta ROBIS

Fonte: adaptado de Whiting et al.¹

 

Referências

1. Whiting P, Savović J, Higgins JP, Caldwell DM, Reeves BC, Shea B, et al. ROBIS: a new tool to assess risk of bias in systematic reviews was developed. J Clin Epidemiol [Internet]. 2016 Jan [cited 2021 Aug 06];69:225-34. Available from: https://doi.org/10.1016/j.jclinepi.2015.06.005
2. University of Bristol. A Risk of Bias Assessment Tool for Systematic Reviews (ROBIS) [Internet]. Bristol, UK: The University; 2016. [cited 2021 Aug 05]. Available from: http://www.bristol.ac.uk/population-health-sciences/projects/robis/robis-tool/
3. Whiting P, Savović J, Higgins J, Caldwell D, Reeves B, Shea, B et al.  ROBIS: Tool to assess risk of bias in systematic reviews Guidance on how to use ROBIS [Internet]. Bristol, UK: The University; [2014?]. [27 April 2021]. Available from: https://www.bristol.ac.uk/media-library/sites/social-community-medicine/robis/robisguidancedocument.pdf
4. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.2. London: Cochrane, 2021. [cited 2021 Jul 29]. Available from: https://training.cochrane.org/handbook/
5. Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJM, Gavaghan DJ, et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials [Internet]. 1996 Feb [cited 2021 Aug 02];17(1):1-12. Available from: https://doi.org/10.1016/0197-2456(95)00134-4
6. McGuinness, LA, Higgins, JPT. Risk-of-bias VISualization (robvis): An R package and Shiny web app for visualizing risk-of-bias assessments. Res Syn Meth [Internet]. 2021 Jan [cited 2021 Aug 04]; 1-7. Available from: https://doi.org/10.1002/jrsm.1411