RISCO DE VIÉS EM REVISÕES SISTEMÁTICAS: GUIA PRÁTICO (COBE/UFSC)

CAPÍTULO 6                       

Análise da Qualidade Metodológica de Ensaios Clínicos Randomizados (ECR) com as Ferramentas Escala Jadad e Escala PEDro

Helena Polmann, Carla Massignan, Cristine Miron Stefani, Graziela De Luca Canto

1. Introdução

Este capítulo objetiva apresentar duas das muitas ferramentas disponíveis na literatura para avaliação da qualidade metodológica de Ensaios Clínicos Randomizados, as Escalas Jadad e PEDro, muito populares e aceitas pela comunidade científica¹.

2. Escala Jadad

A necessidade de avaliar criticamente a qualidade metodológica de ensaios clínicos incluídos em Revisões Sistemáticas já era discutida desde a década de 1980.² A Escala Jadad foi originalmente desenvolvida em 1996, por uma equipe da Universidade de Oxford, com o objetivo de atender a essa demanda.³ Inicialmente, foi elaborada como ferramenta a ser aplicada em pesquisas sobre dor, sendo adaptada posteriormente para outras áreas da saúde.

Atualmente, a Escala Jadad é uma das mais citadas na base de dados Web of Science e mais utilizadas na comunidade científica da área da saúde¹, principalmente, por se tratar de ferramenta de fácil aplicação e interpretação, fatores que contribuíram para sua popularização. Entretanto, apesar de muito utilizada, apresenta algumas limitações importantes, como a não avaliação da ocultação da alocação.⁴

2.1. Aplicação

A Escala Jadad avalia três itens específicos do estudo, por meio de cinco perguntas binárias de respostas “Sim” (valendo 1) ou “Não” (valendo 0).  Essas perguntas estão relacionadas à randomização, mascaramento e perdas e desistências de pacientes e descritas no Quadro 1, seguindo as recomendações de Jadad et al.³ e Halpern e Douglas.⁵ Enquanto no Quadro 2 são apresentados os itens originais em inglês.

Quadro 1. Itens Escala Jadad

Itens	Pergunta	Descrição	Sim (1)	Não (0)
Randomização (máximo 2 pontos, mínimo 0)	O estudo foi descrito como randomizado?	1 ponto deve ser adicionado se a randomização foi mencionada.	O estudo foi definido como randomizado, sem necessidade de explicar o método de randomização.	Não foi citado em parte alguma do texto que o artigo foi randomizado.
	A randomização foi descrita e é adequada?	1 ponto deve ser adicionado se o método de randomização foi adequado. 1 ponto deve ser subtraído caso a randomização seja considerada inadequada.	Moeda (cara/coroa), métodos de randomização por programas de computador.	Data de nascimento, data de admissão, número de hospitais, dias da semana ou alternância.
Cegamento   (máximo 2 pontos, mínimo 0)	O estudo foi descrito como duplo-cego?	1 ponto deve ser adicionado se o cegamento foi citado	Citar, por exemplo, “esse estudo foi conduzido como duplo-cego”.	Não descreveu.
	O método de cegamento foi apropriado? (O paciente e o avaliador estavam corretamente cegados?)	1 ponto deve ser adicionado se o método de cegamento foi apropriado. 1 ponto deve ser subtraído se o cegamento for considerado incorreto.	Utilizar cegamento correto, como o uso de comprimidos ou injetáveis ​​idênticos, frascos idênticos entre os grupos.	Cegamento incompleto.
Relato de todos os pacientes   (máximo 1 ponto, mínimo 0)	Foram descritas as perdas e exclusões?	1 ponto deve ser atribuído quando o desfecho de todos os pacientes é conhecido. Se não houver dados, uma explicação deve ser dada.	Detalhar quais participantes foram incluídos no estudo e não completaram o período de observação ou não foram incluídos na análise.  O número e as razões para a exclusão em cada grupo devem ser indicados. Se não houve exclusões, também deve constar no artigo.	Não realizou esse detalhamento.

Fonte: adaptado de Jadad et al.³ e Halpern e Douglas.⁵

Quadro 2. Formulário para avaliação da qualidade metodológica, por meio da Escala Jadad, na versão original (em inglês)

Jadad Scale Possible answers: Yes (Y); No (N)	Score according to the answer
Was the study described as randomized?	Y +1
Was the method of randomization appropriate?	Y +1 / N -1
Was the study described as double-blind?	Y +1
Was the method of blinding appropriate?	Y +1 / N -1
Was there a description of withdrawals and dropouts?	Y +1

Fonte: adaptado de Jadad et al.³ e Halpern e Douglas.⁵

2.2. Interpretação

Para fins de cálculo do escore final, um ponto é adicionado para uma resposta “Sim” a cada um dos primeiros cinco itens, em uma pontuação geral de 0-5.⁶ Sendo os resultados de 0-2 considerados “baixa qualidade metodológica” e de 3-5 “alta qualidade metodológica”.

2.3. Apresentação dos resultados

A apresentação dos resultados da aplicação da Escala Jadad pode ser em uma coluna adicional na tabela com a síntese descritiva dos estudos incluídos (usualmente denominada “Tabela 1” nos artigos de RS) ou em uma tabela separada, apresentada no texto ou como material suplementar. Um exemplo de apresentação dos resultados da aplicação da escala Jadad é disposto na Tabela 1, abaixo.

Tabela 1. Exemplo de tabela para apresentação de resultados da análise da qualidade metodológica com a Escala Jadad

Author	1a-Randomized	1b-Concealment approp.	1c- Inappropriate	2a- Double Blind	2b- Appropriate	2c- Inappropriate	3- Follow Up	Total Score
Brewerton 1966	1	0	0	0	0	0	1	2/5
Guanguye 2001	1	0	0	1	0	-1	1	2/5
Klaber Moffett 1990	1	0	0	1	1	0	1	4/5
Kogstad 1978	1	0	-1	0	0	0	0	0/5
Shakoor 2003	1	0	0	0	0	0	1	2/5
Wong 1997	1	0	0	0	0	0	1	2/5
Zylbergold 1985	1	0	0	0	0	0	1	2/5

Fonte: adaptada de Graham et al.⁷

3. Escala PEDro

A Escala PEDro (Physiotherapy Evidence Database) surgiu por meio do trabalho realizado em 1998, por uma equipe de fisioterapeutas do Institute for Musculoskeletal Health da Universidade de Sydney, e é baseada no trabalho de Verhagen et al,⁸ cujo objetivo era maximizar a eficácia dos serviços de fisioterapia, facilitando a aplicação clínica das melhores evidências disponíveis, mas logo o seu uso se expandiu para outras áreas da saúde.⁹

A confiabilidade da escala foi classificada como aceitável e é considerada adequada para avaliação da qualidade metodológica em Ensaios Clínicos Incluídos em Revisões Sistemáticas.¹⁰ Além disso, cabe destacar que é possível realizar um treinamento on-line, oferecido pelo grupo PEDro, para uso da ferramenta, inclusive, para uma versão validada em português. O treinamento é pago e pode ser acessado por três meses. Mais informações podem ser encontradas em https://pedro.org.au/english/resources/pedro-scale/.

3.1. Aplicação

A escala PEDro é composta por 11 critérios. O item 1 (“os critérios de elegibilidade foram especificados”) remete à validade externa e não será somado para a avaliação da qualidade metodológica. Deve-se avaliar a origem dos participantes (hospital e clínica, por exemplo) e os critérios de inclusão e exclusão, a fim de observar a generalização dos resultados. Os critérios 4, 7-11 (resultados-chave) são resultados que fornecem o indicador primário da eficácia (ou falta de eficácia) da terapia. Esses itens estão explicados no Quadro 3.⁸

A maioria dos estudos utiliza mais do que uma variável como medida de desfecho, mas, pelo menos, um desfecho-chave deve ser escolhido para aplicação da ferramenta.⁹ O Quadro 4 apresenta os itens da Escala PEDro na versão original, em inglês.

Quadro 3. Itens da Escala PEDro (versão validada em português)

Itens	Sim (1)	Não (0)
Randomização	É necessário apenas citar que a distribuição dos indivíduos foi aleatória, porém o método de aleatorização não precisa estar descrito. Porém uma vez realizada, esta descrição precisa ser completa e detalhada, para possibilitar o julgamento. Moedas e dados são considerados métodos de randomização adequados.	Data de admissão, número de prontuário ou data de nascimento.
Ocultação da alocação	Detalhar que o responsável pela distribuição não fazia parte da avaliação posterior ou que envelopes opacos fechados foram utilizados. Assim como, o paciente também não sabe em qual grupo ele está alocado.	Não houve sigilo ou não foi descrito.
Os grupos eram semelhantes no que diz respeito aos indicadores de prognóstico mais importantes no baseline (início do estudo)	Deve apresentar, em tabela ou texto, características do estudo: idade, sexo, comorbidades. Assim como apresentar uma distribuição semelhante entre os grupos, para possibilitar as comparações.	Não apresentou as características do estudo.
Todos os sujeitos participaram de forma cega no estudo – cegamento dos participantes	Ser cego para o estudo significa que a pessoa em questão (sujeito, terapeuta ou avaliador) não conhece qual o grupo em que o sujeito está incluído.  Nos estudos clínicos em que os desfechos-chave são relatados pelo próprio (por exemplo, escala visual analógica, registro diário da dor), o avaliador é considerado “cego”, se o sujeito foi “cego”.	Não apresentou a descrição desse cegamento.
Todos os fisioterapeutas que administraram a terapia fizeram-no de forma cega – cegamento de quem fez a intervenção
Todos os avaliadores que mediram pelo menos um resultado-chave, fizeram-no de forma cega – cegamento do avaliador de desfecho.
Medições de pelo menos um desfecho-chave foram obtidas em mais de 85% dos sujeitos inicialmente distribuídos pelos grupos	Detalhar o número inicial de pacientes incluídos nos grupos, como o número de sujeitos a partir dos quais se obtiveram medidas de desfechos-chave.  Nos estudos clínicos em que os resultados são medidos em diferentes momentos no tempo, é necessário que, pelo menos, 85% dos pacientes inicialmente alocados em cada grupo sejam avaliados no follow-up.	Não detalhar o número inicial e de follow-up dos participantes.
Todos os sujeitos, a partir dos quais se apresentaram medições de desfecho, receberam o tratamento ou a condição de controle, conforme o grupo alocado ou, quando não foi esse o caso, fez-se a análise dos dados para, pelo menos, um dos desfecho-chave por “intenção de tratamento”	Referir explicitamente que todos os sujeitos receberam o tratamento ou condição de controle, conforme a distribuição por grupos.	Não detalhar que todos os participantes receberam tratamento.
Os resultados das comparações estatísticas intergrupos foram descritos para, pelo menos, um desfecho-chave.	A análise pode ser uma simples comparação dos resultados medidos após a administração do tratamento ou a comparação das alterações em um grupo em relação às alterações no outro	Não apresentar as comparações estatísticas do estudo.
O estudo apresenta tanto medidas de precisão como medidas de variabilidade para, pelo menos, um resultado-chave.	Irá depender da medida de avaliação utilizada no estudo. Podendo ser apresentado por gráficos, figuras ou no texto corrido.	Não apresentar, detalhadamente, os resultados no texto corrido, gráfico ou figuras.

Fonte: adaptado de Shiwa et al.⁹

Quadro 4. Formulário para avaliação da qualidade metodológica, na versão original (inglês), da Escala PEDro

PEDro Scale Possible answers: Yes (Y)/No (N)	Answers	Where in text
2. Subjects were randomly allocated to groups (in a crossover study, subjects were randomly allocated an order in which treatments were received)
3. Allocation was concealed
4. The groups were similar at baseline regarding the most important prognostic indicators
5. There was blinding of all subjects
6. There was blinding of all therapists who administered the therapy
7. There was blinding of all assessors who measured at least one key outcome
8. Measures of at least one key outcome were obtained from more than 85% of the subjects initially allocated to groups
9. All subjects for whom outcome measures were available received the treatment or control condition as allocated or, where this was not the case, data for at least one key outcome was analysed by “intention to treat”
10. The results of between-group statistical comparisons are reported for at least one key outcome
11. The study provides both point measures and measures of variability for at least one key outcome

Fonte: adaptado de PEDro – Physiotherapy Evidence Database.¹¹

3.2. Interpretação

A pontuação final pode variar entre 0 e 10 pontos. O primeiro critério não é considerado para a pontuação final, visto que avalia a validade externa do estudo. Então, os critérios 2 a 11, quando classificados como satisfatórios, são somados, resultando na pontuação final.  Estudos em que os critérios somam de 0 a 4 pontos são considerados de baixa qualidade, 5 e 6 pontos, de qualidade intermediária; e 7 a 10 pontos, de alta qualidade.¹²

3.3. Apresentação dos resultados

A apresentação dos dados é, geralmente, dada em tabelas ou quadros. Um exemplo pode ser encontrado na Tabela 2.

Tabela 2. Exemplo de tabela para apresentação de resultados da análise da qualidade metodológica com a Escala PEDro

Study

1*

2

3

4

5

6

7

8

9

10

11

Total

Mendes et al., 2013

x

x

x

x

x

4

Ogalha et al., 2011

x

x

x

x

x

x

5

Mutimura et al., 2008

x

x

x

x

x

x

5

Hand et al., 2008

x

x

x

x

x

x

5

Filipas et al., 2006

x

x

x

x

x

x

x

x

x

8

Dolan et al., 2006

x

x

x

x

x

x

x

6

Rojas et al., 2003

x

x

x

x

4

Legend: 1: eligibility criteria and source of participants; 2: random allocation; 3: concealed allocation; 4: baseline comparability; 5: blinded participants; 6: blinded therapists; 7: blind assessors; 8: adequate follow up; 9: intention-to-treat analysis; 10: between group comparison; 11: point estimates and variability.

*Item 1 does not contribute to the total score.

Fonte: adaptada de Gomes Neto et al.¹³

 4. Considerações finais

Embora sejam amplamente aceitas pela comunidade científica, de fácil aplicação e interpretação, tanto a Escala Jadad quanto a PEDro são ferramentas para a avaliação de qualidade metodológica e não de análise de risco de viés. Portanto, em Revisões Sistemáticas de intervenção, em que Ensaios Clínicos Randomizados foram incluídos, ferramentas para a análise do risco de viés, como a Cochrane RoB 2.0, devem ser a primeira opção, o que não impede a aplicação simultânea de instrumentos para a análise da qualidade metodológica.¹⁴

 

Referências

1. Armijo-Olivo S, Fuentes J, Ospina M, Saltaji H, Hartling L. Inconsistency in the items included in tools used in general health research and physical therapy to evaluate the methodological quality of randomized controlled trials: a descriptive analysis. BMC Med Res Methodol [Internet]. 2013 Sep [cited 2021 Aug 02];13(1):1-19. Available from: https://doi.org/10.1186/1471-2288-13-116
2. Chalmers TC, Smith Jr H, Blackburn B, Silverman B, Schroeder B, Reitman D, et al. A method for assessing the quality of a randomized control trial. Control Clin Trials [Internet]. 1981 May [cited 2021 Aug 02];2(1):31-49. Available from: https://doi.org/10.1016/0197-2456(81)90056-8
3. Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJM, Gavaghan DJ, et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials [Internet]. 1996 Feb [cited 2021 Aug 02];17(1):1-12. Available from: https://doi.org/10.1016/0197-2456(95)00134-4
4. Luchini C, Veronese N, Nottegar A, Shin JI, Gentile G, Granziol U, et al. Assessing the quality of studies in meta‐research: Review/guidelines on the most important quality assessment tools. Pharm Stat [Internet]. 2021 Jan [cited 2021 Aug 02];20(1):185-95. Available from: https://doi.org/10.1002/pst.2068
5. Halpern SH, Douglas MJ, editors. Jadad scale for reporting randomized controlled trials. In: Evidence-based obstetric anesthesia [Internet]. Oxford, UK: Blackwell Publishing Ltd; 2005 [cited 2021 Ago 02]. p. 237–8. Available from: https://doi.org/10.1002/9780470988343.app1
6. Berger VW, Alperson SY. A general framework for the evaluation of clinical trial quality. Rev Recent Clin Trials [Internet]. 2009 May [cited 2021 Aug 02];4(2):79-88. Available from: https://doi.org/10.2174/157488709788186021
7. Graham N, Gross A, Goldsmith CH, Moffett JK, Haines T, Burnie SJ, et al. Mechanical traction for neck pain with or without radiculopathy. Cochrane Database Syst Rev [Internet]. 2008 Jul [cited 2021 Aug 02];(3):CD006408. Available from: https://www.cochranelibrary.com/cdsr/doi/10.1002/14651858.CD006408.pub2/full
8. Verhagen AP, De Vet HC, De Bie RA, Kessels AG, Boers M, Bouter LM, et al. The Delphi list: a criteria list for quality assessment of randomized clinical trials for conducting systematic reviews developed by Delphi consensus. J Clin Epidemiol [Internet]. 1998 Dec [cited 2021 Aug 02];51(12):1235-41. Available from: https://doi.org/10.1016/s0895-4356(98)00131-0
9. Shiwa SR, Costa LOP, Costa LCM, Moseley A, Hespanhol Junior LC, Venâncio R, et al. Reproducibility of the Portuguese version of the PEDro Scale. Cad Saude Publica [Internet]. 2011 Oct [cited 2021 Aug 02];27(10):2063-8. Available from: https://doi.org/10.1590/s0102-311×2011001000019
10. Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the PEDro scale for rating quality of randomized controlled trials. Phys Ther [Internet]. 2003 Aug [cited 2021 Aug 02];83(8):713-21. Available from: https://link.gale.com/apps/doc/A106557909/AONE?u=capes&sid=bookmark-AONE&xid=9302a333
11. PEDro-Physiotherapy Evidence Database [Internet]. Sydney: The University of Sydney; 2020. PEDro Scale; 2021 Aug 02 [cited 2021 Aug 04]. Available from: https://pedro.org.au/english/resources/pedro-scale/
12. Maher CG. A systematic review of workplace interventions to prevent low back pain. Aust J Physiother [Internet]. 2000 [cited 2021 Aug 02];46(4):259-69. Available from: https://doi.org/10.1016/s0004-9514(14)60287-7
13. Gomes Neto M, Conceição CS, Carvalho VO, Brites C. Effects of Combined Aerobic and Resistance Exercise on Exercise Capacity, Muscle Strength and Quality of Life in HIV-Infected Patients: A Systematic Review and Meta-Analysis. PLoS One. 2015 Sep [cited 2021 Aug 02];10(9):e0138066. Available from: https://doi.org/10.1371/journal.pone.0138066
14. Boutron I, Page MJ, Higgins JPT, Altman DG, Lundh A, Hróbjartsson A. Considering bias and conflicts of interest among the included studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.2. London: Cochrane, 2021. [cited 2021 Jul 29]. Chapter 7. Available from: https://training.cochrane.org/handbook/current/chapter-07