Capítulo 14. Análise da qualidade metodológica de Revisões Sistemáticas com a ferramenta AMSTAR 2

CAPÍTULO 14

Análise da Qualidade Metodológica de Revisões Sistemáticas com a Ferramenta AMSTAR 2

Patrícia Pauletto, Cristine Miron Stefani, Carla Massignan, Graziela De Luca Canto

 1. Introdução

Este capítulo aborda a ferramenta de avaliação crítica de Revisões Sistemáticas AMSTAR 2 (A Measurement Tool to Assess Systematic Reviews). A primeira versão foi publicada em 20071, e, dez anos após, uma nova versão foi disponibilizada, o AMSTAR 2.2 Uma das suas principais modificações na atualização foi ampliar a avaliação, que antes era restrita a Revisões Sistemáticas de Ensaios Clínicos Randomizados, para avaliação também de Revisões Sistemáticas de Ensaios Clínicos Não Randomizados.

Em comparação com a primeira versão, que apresentava 11 questões, o instrumento revisado, AMSTAR 2, manteve 10 dos domínios originais, contendo um total de 16 questões (sete consideradas críticas e nove não críticas). Ainda essa nova versão apresenta categorias de resposta mais simples, inclui um guia do usuário mais abrangente e tem uma visão geral de classificação baseada em fraquezas de domínios críticos. As respostas podem ser registradas como “Sim”, “Parcialmente Sim”, “Não” ou “Meta-análise não conduzida”, dependendo do número da questão, as possibilidades de respostas podem variar.

2. Aplicação

O processo de aplicação da ferramenta deve seguir os passos previstos no Capítulo 1 deste livro. O instrumento pode ser acessado online (https://amstar.ca/index.php) para obtenção automática do resultado final. Recomenda-se que o usuário (autor avaliador) abra uma conta e se registre, o que permitirá que seja feito um login como membro (Figura 1). O próximo passo é clicar em checklist e iniciar a avaliação (evidenciado pela seta vermelha) (Figura 2) de cada Revisão Sistemática.

Figura 1. Acesso à ferramenta AMSTAR 2 pelo website (https://amstar.ca/index.php)

Fonte: https://amstar.ca/index.php

Figura 2. Acesso ao checklist AMSTAR 2

Fonte: https://amstar.ca/Member_Area.php

O checklist tem uma caixa para a inserção do nome do artigo e depois lista as 16 perguntas (Figura 3).

Figura 3. Visualização do checklist AMSTAR 2 online

Fonte: https://amstar.ca/Amstar_Checklist.php

A seguir, serão apresentadas as 16 perguntas que compõem o checklist AMSTAR 2 (em tradução livre para a língua portuguesa), com descrição das possibilidades de respostas “Sim” e “Parcialmente Sim”. A possibilidade de resposta “Não” deve ser considerada em todas as questões em que as respostas não se enquadrem nas opções de resposta “Sim” e “Parcialmente Sim”.

  1. As questões de pesquisa e os critérios de inclusão para a revisão incluíram os componentes do PICO (População, Intervenção, Comparação e Desfecho)?

Possibilidades de respostas: “Sim” e “Não”.

Sugere-se que a resposta seja “Sim”, se for possível identificar, ainda que de forma implícita, o componente PICO na estrutura da pergunta de pesquisa: P – Participantes, I – Intervenção, C – Comparação e O – Desfechos. Esses quatro elementos devem ser descritos na seção do resumo, introdução ou métodos. O tempo de acompanhamento também é um item recomendado, mas para a avaliação é opcional.

  1. O relato continha uma declaração explícita de que os métodos foram estabelecidos antes da realização da revisão e o relato justificou quaisquer desvios significativos do protocolo? (ITEM CRÍTICO)

Possibilidades de respostas: “Sim”, “Parcialmente Sim” e “Não”.

Sugere-se que a resposta seja “Parcialmente Sim”, se for possível reconhecer a elaboração de um protocolo, antes do desenvolvimento da Revisão Sistemática, que inclua todos os seguintes itens: pergunta de pesquisa, estratégia de busca, critérios de inclusão e exclusão, avaliação do risco de viés.

Sugere-se que a resposta seja “Sim”, se os autores demonstrarem que trabalharam com um protocolo escrito com verificação independente (registro público em sites como o PROSPERO – International Prospective Register of Systematic Reviews; OSF – Open Science Framework; ou outro órgão independente). Além disso, devem ter especificado um plano de meta-análise/ síntese e um plano para investigar as causas da heterogeneidade, além de justificativas de desvios do protocolo.

  1. Os autores da revisão justificaram a escolha dos desenhos dos estudos incluídos? Possibilidades de respostas: “Sim” e “Não”.

Sugere-se que a resposta seja “Sim”, se for possível constatar que foi utilizada uma estratégia não arbitrária na seleção dos tipos de estudos incluídos na Revisão Sistemática, sendo justificada a opção de inclusão ou exclusão de determinados tipos de estudo, de acordo com o objetivo da pesquisa.  Por exemplo, uma justificativa pela inclusão somente de Ensaios Clínicos Randomizados.

  1. Os autores da revisão usaram uma estratégia abrangente de pesquisa da literatura? (ITEM CRÍTICO)

Possibilidades de respostas: “Sim”, “Parcialmente Sim” e “Não”.

Sugere-se que a resposta seja “Parcialmente Sim”, quando a estratégia de busca foi aplicada em, pelo menos, duas bases de dados (relevantes à pergunta de pesquisa), se foram disponibilizadas as palavras-chave e/ou estratégias de busca e se foram apresentadas justificativas para as restrições (por exemplo, de idioma).

Sugere-se que a resposta seja “Sim”, quando, além do exigido para resposta “Parcialmente sim”, foram realizados: busca nas listas de referências dos estudos incluídos, busca em registros de estudos, consulta a expertsdo assunto, busca na literatura cinzenta e sea busca foi conduzida dentro de 24 meses antes de finalizar a revisão.

 5.Os autores realizaram a seleção dos estudos em duplicata?

Possibilidades de respostas: “Sim” e “Não”.

Sugere-se que a resposta seja “Sim” quando, pelo menos, uma das opções foi executada: pelo menos, dois revisores concordaram, de forma independente, com a seleção dos estudos elegíveis e entraram em consenso sobre quais estudos incluir; ou dois revisores selecionaram uma amostra de estudos elegíveis e alcançaram um bom nível de concordância (mínimo 80%), com o restante selecionado por um único revisor.

  1. Os autores realizaram a extração dos dados em duplicata?

Possibilidades de respostas: “Sim” e “Não”.

Sugere-se que a resposta seja “Sim” quando, pelo menos, uma das opções foi executada: se, pelo menos, dois autores entraram em consenso sobre quais dados coletar; ou dois revisores coletaram dados de uma amostra de estudos elegíveis e alcançaram um bom nível de concordância (mínimo 80%), com o restante coletado por um único autor.

  1. Os autores forneceram uma lista de estudos excluídos e justificativa pela exclusão? (ITEM CRÍTICO)

Possibilidades de respostas: “Sim”, “Parcialmente Sim” e “Não”.

Sugere-se que a resposta seja “Parcialmente Sim”, se foi apresentada a lista com os estudos excluídos, sem a justificativa para a exclusão desses estudos.

Sugere-se que a resposta seja “Sim” se, além da lista com os estudos excluídos, foi apresentada a justificativa para a exclusão desses estudos.

  1. Os autores descrevem os estudos incluídos com detalhamento adequado?

Possibilidades de respostas: “Sim”, “Parcialmente Sim” e “Não”.

Sugere-se que a resposta seja “Parcialmente Sim”, se apenas os itens a seguir forem descritos detalhadamente no texto: população, intervenção, comparação, desfechos e desenho de pesquisa.

Sugere-se que a resposta seja “Sim”, se, além dos itens previstos para resposta “Parcialmente sim”, os autores relataram o contexto da pesquisa e o tempo de acompanhamento.

  1. Os autores da revisão usaram uma técnica satisfatória para avaliar o risco de viés nos estudos individuais que foram incluídos na revisão? (ITEM CRÍTICO)

Possibilidades de respostas: “Sim”, “Parcialmente Sim” e “Não”. Também há campos para assinalar: “Inclusão somente de Ensaio Clínico Randomizado” ou “Inclusão somente de Ensaio Clínico Não Randomizado”, quando apenas uma das situações se aplica à Revisão Sistemática em análise.

Para revisões sistemáticas de Ensaios Clínicos Randomizados, sugere-se que a resposta seja “Parcialmente Sim”, se o risco de viés dos estudos foi avaliado quanto à ocultação da alocação e cegamento dos pacientes e avaliador na análise dos resultados. E “Sim”, se a avaliação do risco de viés considerou: geração da sequência de alocação verdadeiramente randomizada e seleção do resultado entre múltiplas medições ou análises de determinado desfecho (relato seletivo).

No caso de inclusão de Revisões Sistemáticas de Ensaios Clínicos Não Randomizados, sugere-se que a resposta seja “Parcialmente Sim”, se o risco de viés levou em consideração a existência de fatores de confusão e viés de seleção. E “Sim”, se a avaliação do risco de viés também considerou os métodos utilizados para determinar a exposição e os resultados e possível seleção dos resultados entre múltiplas mensurações e análises para determinado desfecho (relato seletivo).

  1. Os autores da revisão reportaram as fontes de financiamento dos estudos incluídos na revisão?

Possibilidades de respostas: “Sim” e “Não”.

Sugere-se que a resposta seja “Sim”, se foi possível identificar que os autores dos estudos incluídos na Revisão Sistemática avaliada informaram sobre as fontes de financiamento para os estudos incluídos.

  1. Se a meta-análise foi realizada, os autores da revisão usaram métodos apropriados para combinação de resultados estatísticos? (ITEM CRÍTICO)

Possibilidades de respostas: “Sim”, “Não”, “Meta-análise não realizada”.

Para Revisões Sistemáticas de Estudos Clínicos Randomizados, sugere-se que a resposta seja “Sim”, se foi possível identificar a justificativa da combinação dos dados na meta-análise, a utilização de uma técnica estatística apropriada para combinação dos resultados dos estudos, ajustando a heterogeneidade (se presente), além da investigação das causas de qualquer heterogeneidade.

Para revisões sistemáticas de Ensaios Clínicos Não Randomizados, sugere-se que a resposta seja “Sim”, se foi possível identificar a justificativa da combinação dos dados na meta-análise, utilização de uma técnica estatística apropriada para combinação dos resultados dos estudos, ajustando a heterogeneidade (se presente) e a combinação estatística das estimativas de efeito dos Ensaios Clínicos Não Randomizados que foram ajustados para fatores de confusão, em vez de combinar dados brutos, ou se houve combinação justificada de dados brutos quando as estimativas de efeito ajustadas não estavam disponíveis e se relataram estimativas de efeito separadamente quando ambos tipos de estudos (Ensaios Clínicos Randomizados e Ensaios Clínicos Não Randomizados) foram incluídos na revisão.

  1. Se uma meta-análise foi realizada, os autores da revisão avaliaram o impacto potencial do risco de viés dos estudos individuais sobre os resultados da meta-análise ou outra síntese de evidências?

Possibilidades de respostas: “Sim”, “Não”, “Meta-análise não realizada”.

Sugere-se que a resposta seja “Sim”, se foram incluídos apenas Ensaios Clínicos Randomizados com baixo risco de viés ou, caso a estimativa combinada foi baseada em Ensaios Clínicos Randomizados e/ou Ensaios Clínicos Não Randomizados com riscos de viés variados, se os autores realizaram análises para investigar o possível impacto do risco de viés sobre estimativas combinadas de efeito (como análise de sensibilidade, por exemplo).

  1. Os autores da revisão explicaram o risco de viés dos estudos individuais ao interpretar/discutir os resultados da revisão? (ITEM CRÍTICO)

Possibilidades de respostas: “Sim” e “Não”.

Sugere-se que a resposta seja “Sim”, se a revisão forneceu uma discussão sobre o provável impacto do risco de viés nos resultados.

  1. Os autores da revisão forneceram uma explicação satisfatória e discutiram qualquer heterogeneidade observada nos resultados da revisão?

Possibilidades de respostas: “Sim” e “Não”.

Sugere-se que a resposta seja “Sim”, se não houve heterogeneidade significativa nos resultados ou, quando houve heterogeneidade, se foi realizada uma investigação das possíveis fontes e foram discutidos os impactos desta nos resultados da revisão.

  1. Se foi realizada uma síntese quantitativa, os autores da revisão realizaram uma adequada investigação de viés de publicação e discutiram seu provável impacto nos resultados da revisão? (ITEM CRÍTICO)

Possibilidades de respostas: “Sim”, “Não”, “Meta-análise não conduzida”.

Sugere-se que a resposta seja “Sim”, se foi apresentado um gráfico de funil ou um teste estatístico do viés de publicação (por exemplo, testes de Egger ou Beggs) e discutida a probabilidade e magnitude do impacto do viés de publicação.

  1. Os autores da revisão relataram quaisquer fontes potenciais de conflito de interesse, incluindo qualquer financiamento que eles tenham recebido para a realização da revisão?

Possibilidades de respostas: “Sim” e “Não”.

Sugere-se que a resposta seja “Sim”, se os autores declararam não haver conflito de interesses ou se descreveram suas fontes de financiamento e como eles administraram os potenciais conflitos de interesse.

Como mencionado anteriormente, a ferramenta classifica os itens em críticos ou não críticos. São considerados como críticos os itens: 2, 4, 7, 9, 11, 13 e 15. Os demais são considerados não críticos.

 3. Interpretação

Após o preenchimento de todos os itens de acordo com o checklist, poderá ser obtida a “Confiança Geral” da Revisão Sistemática. Para isso, deve-se clicar na opção “Calculate”, ao final do checklist (evidenciado pela seta vermelha na Figura 4), e o resultado será apresentado (evidenciado pela seta vermelha na Figura 5).

Figura 4. Obtenção da confiança geral da Revisão Sistemática avaliada clicando no botão “Calculate” ao final da avaliação

Nota: no momento do envio desse livro para publicação, o botão “calculate” não estava mais habilitado no site do AMSTAR 2. Os desenvolvedores da ferramenta foram contatados, mas não se obteve resposta. Diante da incerteza se tal remoção foi permanente ou temporária, optou-se por manter as informações nesse capítulo.

Fonte: https://amstar.ca/Amstar_Checklist.php

Figura 5. Definição de escore automático online, de acordo com as respostas obtidas e um relatório final da avaliação

Nota: a revisão sistemática foi avaliada como sendo de “Alta qualidade” (resultado evidenciado pela seta vermelha).

Fonte: https://amstar.ca/Amstar_Checklist.php

Caso não seja possível gerar o resultado global de forma automática (por indisponibilidade ou instabilidade do site), a classificação da qualidade metodológica das revisões sistemáticas incluídas na Overviewpode ser obtida manualmente, por meio da aplicação dos seguintes critérios:

  • Alta: se a revisão sistemática não apresentar nenhuma ou uma única resposta “NÃO” para um item considerado não crítico;
  • Moderada: se a revisão sistemática apresentar mais de uma resposta “NÃO” em itens considerados não crítico;
  • Baixa: se a revisão sistemática apresentar, pelo menos, uma resposta “NÃO” em um item crítico, com ou sem resposta “NÃO” para itens considerados não críticos;
  • Criticamente baixa: se a revisão sistemática apresentar mais de uma resposta “NÃO” para itens considerados críticos, com ou sem respostas “NÃO” para itens não críticos.

4. Apresentação dos resultados

A ferramenta AMSTAR 2 não impõe qualquer forma de apresentação dos resultados, deixando a escolha livre aos autores do artigo. Porém, a apresentação pode ser feita por meio de um Quadro ou apenas pela descrição narrativa dos resultados. Se a opção do quadro for escolhida, sugere-se a abreviação dos itens do checklist em 1, 2, 3…16, com legenda identificando itens completos, conforme o exemplo apresentado no Quadro 1.

Outros exemplos de apresentação dos resultados podem ser encontrados em uma overview recente que utilizou o AMSTAR 2 para avaliar a qualidade metodológica das revisões sistemáticas incluídas3.

Quadro 1. Modelo de quadro para apresentação dos resultados da análise da qualidade metodológica de Revisões Sistemáticas com a ferramenta AMSTAR 2 (mantida no idioma original)

Authors /Year

1

 2* 3 4* 5 6 7* 8 9* 10 11* 12 13* 14 15*

16

 Overall Confidence
Pauletto et al., 2021

Y

 Y PY Y Y Y Y Y Y Y Y Y Y Y

Y

Y

 High
Items of AMSTAR 2 (items with * are considered critical):

1. Did the research questions and inclusion criteria for the review include the components of PICO?

2. *Did the report of the review contain an explicit statement that the review methods were established prior to the conduct of the review and did the report justify any significant deviations from the protocol?

3. Did the review authors explain their selection of the study designs for inclusion in the review?

4. *Did the review authors use a comprehensive literature search strategy?

5. Did the review authors perform study selection in duplicate?

6. Did the review authors perform data extraction in duplicate?

7. *Did the review authors provide a list of excluded studies and justify the exclusions?

8. Did the review authors describe the included studies in adequate detail?

9. *Did the review authors use a satisfactory technique for assessing the risk of bias (RoB) in individual studies that were included in the review?

10. Did the review authors report on the sources of funding for the studies included in the review?

11. *If meta-analysis was performed did the review authors use appropriate methods for statistical combination of results?

12. If meta-analysis was performed, did the review authors assess the potential impact of RoB in individual studies on the results of the meta-analysis or other evidence synthesis?

13. *Did the review authors account for RoB in individual studies when interpreting/ discussing the results of the review?

14. Did the review authors provide a satisfactory explanation for, and discussion of, any heterogeneity observed in the results of the review?

15. *If they performed quantitative synthesis did the review authors carry out an adequate investigation of publication bias (small study bias) and discuss its likely impact on the results of the review?

16. Did the review authors report any potential sources of conflict of interest, including any funding they received for conducting the review?

Nota: na legenda inserida no Quadro 1, estão dispostos os itens do checklist AMSTAR 2, no idioma original (inglês), que correspondem aos itens numéricos apresentados na primeira linha. O asterisco (*) evidencia os itens considerados críticos pela ferramenta.

Fonte: elaborado pelos autores.

 

Referências

  1. Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, Hamel C, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol [Internet]. 2007 Feb [cited 2021 Aug 06];7:10. Available from: https://doi.org/10.1186/1471-2288-7-10
  2. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ [Internet]. 2017 Sep [cited 2021 Aug 06];358:j4008. Available from: https://doi.org/10.1136/bmj.j4008
  3. Pauletto P, Ruales-Carrera E, Mezzomo LA, Stefani CM, Taba MJ, Goncalves RB, et al. Clinical performance of short versus standard dental implants in vertically augmented bone: an overview of systematic reviews. Clin Oral Investig. 2021. Available from: https://doi.org/10.1007/s00784-021-04095-0
  • Desenvolvido com o CMS de código aberto Wordpress
  • Última atualização do site foi em 06 de julho 2022 - 16:34:51