Capítulo 12. Análise da qualidade metodológica de estudos de prevalência com a ferramenta do Joanna Briggs Institute (JBI)
CAPÍTULO 12
Análise da Qualidade Metodológica de Estudos de Prevalência com a Ferramenta do Joanna Briggs Institute (JBI)
Júlia Meller Dias de Oliveira, Renata da Paz Leal Pereira, Carla Massignan, Cristine Miron Stefani, Graziela De Luca Canto
1. Introdução
Acompanhando o crescente número de Revisões Sistemáticas (RS) que vêm sendo publicadas na literatura, nos últimos 15 anos, observou-se um aumento também no número de RS de estudos de prevalência.1,2 As RS de Prevalência, quando bem delineadas e conduzidas de forma rigorosa, geram resultados com o potencial de orientar gestores e profissionais da área de saúde no desenvolvimento de políticas específicas para condições que mais acometem e impactam uma determinada população.3
Uma RS de prevalência pode incluir estudos transversais e estudos de coorte. Os estudos transversais são estudos realizados em um determinado ponto no tempo, sem que haja qualquer tipo de acompanhamento da amostra, impossibilitando qualquer conexão temporal entre as variáveis estudadas.4 Já os estudos de coorte são delineados na tentativa de estabelecer uma relação de causalidade entre o desfecho e o fator de exposição observado nos participantes do estudo, mas para que essa relação seja observada, os dados são coletados em diferentes momentos ao longo do tempo (longitudinal).4
Tanto em estudos transversais quanto em estudos de coorte, é possível que algum dado de prevalência seja fornecido ou informações suficientes sejam disponibilizadas para que esse seja calculado. Entretanto, é necessário que os autores da RS sejam capazes de identificar os diferentes tipos de prevalências que estão sendo apresentadas nos estudos incluídos, evitando que estas sejam agrupadas ao longo da revisão, seja de forma descritiva, em tabelas, meta-análises, ou em qualquer outra forma de apresentação de resultados.
De acordo com a definição apresentada por Szklo e Nieto5, os dados de prevalência podem ser divididos em três tipos: 1) Prevalência pontual, que considera o número de casos em um momento específico no tempo; 2) Prevalência de período, que leva em consideração o número de casos em um determinado período de tempo; e 3) Prevalência cumulativa ou prevalência ao longo da vida, que considera qualquer caso, em qualquer momento, em um determinado momento no passado da população estudada.5
Os três tipos podem ser apresentados tanto em estudos transversais quanto de coorte, porém, é importante ressaltar que, para a prevalência calculada a partir dos estudos de coorte, é necessário que sejam considerados todos os casos do desfecho estudado, sejam eles novos ou não, diferenciando-os dessa forma de dados de incidência.4 De forma geral, quando o estudo não especifica qual tipo de prevalência foi estudada, ela pode ser entendida como prevalência pontual.5
Historicamente, as RS foram desenvolvidas para sintetizar evidências sobre os efeitos de uma determinada intervenção em comparação a outra, principalmente, em casos em que seriam comparados diferentes tratamentos para uma mesma condição de saúde em pacientes de uma determinada população.6 A partir disso, com a evolução e o aperfeiçoamento da metodologia das RS e o desenvolvimento de outros tipos de RS, os guias presentes na literatura foram sendo adaptados. Entretanto, a adaptação de algumas ferramentas para o uso em RS de prevalência foi mais complexa, devido ao tipo de evidência que ela gera e analisa a partir dos estudos incluídos.6-8
Em 2012, um grupo de trabalho focado no desenvolvimento e avaliação de RS foi criado dentro do Instituto Joanna Briggs (JBI), na Faculdade de Ciências da Saúde da Universidade de Adelaide, na Austrália. Após um estudo realizado com RS de prevalência, os pesquisadores desse grupo perceberam que a principal disparidade na realização desse tipo de RS entre os estudos analisados foi a avaliação crítica ou avaliação da qualidade dos estudos incluídos nas revisões publicadas até aquele momento.
Assim, enquanto alguns estudos utilizaram instrumentos desenvolvidos especificamente para RS de prevalência, outros criaram suas próprias ferramentas e metodologias de avaliação da qualidade dos estudos incluídos, adaptaram ferramentas inespecíficas ou até optaram pela não avaliação da qualidade metodológica para os estudos incluídos na RS. Com base nesse achado, o mesmo grupo de pesquisadores do JBI desenvolveu uma ferramenta própria para a avaliação crítica de estudos incluídos em RS de prevalência, na tentativa de padronizar a avaliação em revisões publicadas posteriormente.2
Dessa forma, foi criada a Ferramenta de Avaliação Crítica de Estudos com Dados de Prevalência, pelo grupo de estudos do JBI, em 2014.2 Desde então, ela vem passando por adaptações e ajustes a cada publicação dos Manuais do JBI, sendo o de 2020 o mais atual.9 Esse Manual conta com um guia metodológico para cada ferramenta desenvolvida pelo JBI, incluindo a abordada neste Capítulo.
A Ferramenta de Avaliação Crítica de Estudos com Dados de Prevalência é composta por nove perguntas, chamadas itens, que avaliam desde a estrutura da amostra do estudo incluído, como foi selecionada e calculada, até se o estudo descreveu detalhadamente como o desfecho foi avaliado, se foi avaliado de forma padronizada e com boa taxa de resposta entre os participantes do estudo incluído na RS de prevalência.2,10 Para cada item, os autores das revisões, designados como avaliadores, deverão atribuir respostas para cada estudo incluído, independentemente do desenho do estudo, julgando a qualidade metodológica.
A seguir, apresentar-se-á como aplicar a ferramenta, como interpretar cada item da mesma e como apresentar os resultados da análise da qualidade metodológica no estudo, incluindo a parte escrita e a geração e apresentação gráfica desses dados.
2. Aplicação
Para aplicar a ferramenta supracitada do JBI10, os passos descritos no Capítulo 1 deste livro devem ser seguidos. Portanto, o primeiro passo a ser realizado é a leitura criteriosa, na íntegra, do artigo original da ferramenta escolhida, nesse caso, a parte de explicação da Ferramenta de Avaliação Crítica de Estudos com Dados de Prevalência, que está no Apêndice 5.1 do Capítulo 5 da versão de 2020 do Manual do JBI9,10, ou diretamente no site do JBI, em https://jbi.global/critical-appraisal-tools, escolher “Checklist for Prevalence Studies”. A ferramenta original na íntegra é apresentada no Quadro 1.10
Após a leitura e compreensão de todos os itens e de como deve ser realizada a aplicação da ferramenta, a equipe deve estabelecer os parâmetros de avaliação, identificando os principais pontos a serem observados em cada item, assim como as principais características da exposição que está sendo estudada e os principais fatores de confusão que podem estar presentes em estudos sobre o assunto. É importante destacar que, para cada item, as respostas possíveis são: “Sim”, “Não”, “Incerto” ou “Não Aplicável”. Portanto, os avaliadores também devem combinar os parâmetros para cada uma das possíveis respostas.11
Quadro 1. Ferramenta de Avaliação Crítica de Estudos com Dados de Prevalência desenvolvida pelo grupo de estudos do Joanna Briggs Institute (JBI)
Reviewer______________________________________________ Date ____________________
Author __________________________________ Year_________ Record Number___________
Comments (Explanations for “No” and “Unclear” answers):
|
Fonte: adaptado de Munn et al.10
A organização e aplicação de cada um dos nove itens, com as respectivas orientações para a interpretação, segundo os desenvolvedores da ferramenta10, serão apresentadas a seguir.
- A estrutura da amostra é apropriada para representar a população-alvo?
Para avaliar o primeiro item da ferramenta, é necessário que os avaliadores tenham conhecimento das características gerais da população-alvo e do local onde essa população habita. Para isso, deve-se considerar características populacionais específicas, como idade, sexo, proporção de homens e mulheres, e características sobre o desfecho que está sendo pesquisado ou fatores de confusão que possam estar presentes nessa população.
Critérios para receber resposta “Sim”: se a amostra foi representativa para a população geral, envolvendo as mesmas características e de maneira igualmente proporcional. Já se informações sobre as características da amostra estavam ausentes ou incompletas, respectivamente, os avaliadores podem considerar as respostas “Não” ou “Incerto”, respectivamente.
- Os participantes do estudo foram selecionados de maneira apropriada?
O processo de amostragem deverá ser avaliado para o julgamento do segundo item. Os estudos avaliados podem relatar amostragens aleatórias probabilísticas de uma população ou de um conglomerado (cluster), amostragem por conveniência ou relatar a avaliação de todos os indivíduos da população (censo). O importante para a definição dos parâmetros de julgamento para esta pergunta é que todos os passos da amostragem sejam relatados, na seção de Materiais e Métodos do estudo, de forma detalhada, permitindo aos avaliadores a análise de como o processo foi realizado e de todas suas especificidades.
Critérios para receber resposta “Sim”: nos casos em que a população foi avaliada na sua totalidade (censo) ou de amostras aleatorizadas, sejam por indivíduos ou por conglomerados, e que o cálculo e os parâmetros para a definição da amostra estavam presentes e descritos de forma clara. Já se amostras de conveniência foram utilizadas, por serem não aleatórias e não probabilísticas, ao selecionarem os participantes de forma intencional12, como não é possível garantir a representatividade da população-alvo, a resposta atribuída deve ser “Não”. Por fim, para os casos em que o processo foi descrito de forma incerta ou incompleta, a resposta atribuída deve ser “Incerto”.
- O tamanho da amostra foi adequado?
O parâmetro de tamanho amostral é importante, pois uma amostra de tamanho ideal garante a precisão da estimativa final da prevalência, uma vez que afeta o intervalo de confiança e a precisão da estimativa dos resultados. Ou seja, ao analisar esse item, deve-se considerar que, quanto maior a amostra, mais estreito o intervalo de confiança em torno da estimativa de prevalência, tornando os resultados mais precisos.
Desta forma, salvo em estudos que apresentaram número da amostra suficiente, como grandes pesquisas nacionais, a análise desse item, idealmente, deve considerar a avaliação da realização do cálculo amostral, garantindo que a pesquisa utilizou uma amostra (geral e/ou de subgrupos) com tamanho adequado para a avaliação da prevalência da característica que está sendo buscada na população-alvo.
Critérios para receber resposta “Sim”: o cálculo amostral foi realizado, considerado adequado e respeitado pelos pesquisadores na hora de apresentarem o tamanho da amostra no estudo. Entretanto, para estudos em que o cálculo amostral não foi realizado e a pesquisa não foi considerada como uma grande pesquisa nacional, os avaliadores podem considerar o cálculo realizado por meio da análise do tamanho amostral usando a fórmula presente no Quadro 2.
Quadro 2. Fórmula para cálculo do tamanho amostral12,13
n = Z.1.P.(1-P)
d2
Legenda: n = tamanho da amostra; Estatística Z = Z para um nível de confiança; P = Prevalência ou proporção esperada (em decimais); d = precisão (em decimais).
Fonte: elaborado pelos autores.
- Os sujeitos do estudo foram descritos detalhadamente?
Critérios para receber resposta “Sim”: se a amostra do estudo foi descrita de forma detalhada o suficiente (média e faixa de idade, proporção entre homens e mulheres, variáveis sociodemográficas etc.) para que outros pesquisadores sejam capazes de determinar se a população da amostra estudada pode ser comparada à população-alvo pré-determinada. Caso essa informação seja pobre em detalhes ou não apresentada, as respostas atribuídas devem ser “Incerto” e “Não”, respectivamente.
- A análise de dados foi realizada em uma parcela suficiente da amostra identificada?
Para analisar se a avaliação dos dados foi realizada em uma parcela suficiente da amostra considerada em um estudo que apresenta dados de prevalência (geralmente estudos transversais ou dados do baseline de estudos longitudinais), devem ser analisadas informações como os dados sobre a desistência ou recusa de participação dos indivíduos contatados e selecionados para comporem a amostra.
Quando há um grande número de desistências e recusas entre os indivíduos selecionados em uma amostra de determinada pesquisa, isso pode indicar a possibilidade de uma representação infiel dessa amostra, condição denominada viés de não-resposta, podendo diminuir a validade de um estudo.14 Da mesma forma, o chamado viés de cobertura poderá influenciar o julgamento deste item. Esse viés ocorre quando, na população-alvo do estudo há uma parcela ou subgrupo, com necessidade de representação, que possui chances reduzidas de participar da pesquisa.
Para que esse item seja avaliado e julgado, sugere-se que os avaliadores procurem pela descrição dos motivos da falta de resposta dos indivíduos selecionados, bem como comparem o perfil sociodemográfico dos indivíduos respondentes com os não-respondentes, além de avaliar se a falta de resposta modificou a prevalência do estudo.
Critérios para receber resposta “Sim”: se os autores apresentaram boas justificativas para a taxa de não-resposta e esta não foi impactante a ponto de modificar a prevalência avaliada no estudo. Porém, se esses fatores não foram descritos de forma clara, mostram impacto no resultado da prevalência geral avaliada ou não foram apresentados no estudo em questão, os avaliadores devem considerar as respostas “Incerto” e “Não” para o julgamento, respectivamente.
- Foram utilizados métodos válidos para a identificação da condição?
Este item julga se o estudo foi capaz de lidar com o viés de classificação, também chamado de viés de mensuração, que resulta do registro inadequado ou ambíguo da coleta de dados do estudo. Um exemplo da presença desses vieses em pesquisas é visto quando diferentes métodos de diagnóstico são usados para classificação de uma mesma condição em pacientes em um único estudo.15
Critérios para receber resposta “Sim”: quando o registro foi baseado em critérios diagnósticos validados. Entretanto, se o registro foi elaborado partindo de escalas autorreferidas ou sem validação, os avaliadores podem atribuir respostas “Não” e “Incerto”.
- A condição estudada foi medida de maneira padrão e confiável para todos os participantes?
Assim como no sexto item, para a avaliação do item de número sete, deve-se julgar como foi mensurada a condição que está sendo estudada na população em questão, se foi estabelecida a validade do instrumento de mensuração dos resultados, porém, é necessário também determinar como essa mensuração foi realizada. Portanto, algumas perguntas podem ser consideradas pelos avaliadores, tais quais, se os pesquisadores foram treinados e calibrados entre si para coleta de dados; se a condição foi medida de forma equivalente para todos os participantes da amostra; ou se, quando houve mais de um pesquisador realizando a coleta de dados para cada paciente, os resultados foram comparados e de comum acordo entre os pesquisadores.
Os avaliadores devem selecionar as perguntas mais coerentes para o tipo de condição que está sendo avaliada e, assim, determinar os parâmetros do julgamento deste item.
Critérios para receber resposta “Sim”: a condição foi mensurada de forma confiável e padronizada para toda a amostra avaliada no estudo em análise.
- Houve uma análise estatística apropriada?
Para a avaliação deste item, os avaliadores deverão consultar a seção “Materiais e Métodos” do estudo e considerá-la detalhada e clara o suficiente para que seja possível realizar a extração dos valores para o cálculo das porcentagens e do intervalo de confiança para as variáveis específicas estudadas e apresentadas nos objetivos do estudo. Além disso, o cálculo deve ser julgado apropriado para o método da pesquisa que está sendo relatada.
Critérios para receber resposta “Sim”: se todos esses quesitos foram identificados e considerados adequados, caso contrário, os avaliadores podem atribuir ao item respostas “Não” e “Incerto”, dependendo do nível de detalhamento apresentado sobre a estratégia adotada para a estatística dos resultados.
- A taxa de resposta foi adequada? Caso a taxa de resposta tenha sido baixa, ela foi gerenciada adequadamente?
Por fim, os avaliadores devem avaliar a taxa de resposta e julgá-la de acordo com alguma alteração entre o número de participantes da pesquisa e das respostas obtidas para a etapa de análise dos resultados. Nos casos em que for observado um grande número de perdas de respostas, desistências ou recusas à participação, a validade do estudo pode ser afetada e, por isso, deve haver uma discussão por parte dos autores quanto à taxa de resposta e quaisquer motivos aparentes para que essa tenha sido diferente do número de participantes do estudo.
Critérios para receber resposta “Sim”: caso sejam encontradas razões não relacionadas ao desfecho medido e as características dos participantes que abandonaram a pesquisa comparáveis aos que participaram efetivamente, justificando a baixa taxa de respostas.
Contudo, se não houve análise das perdas no estudo, ou essas não foram explicadas e comparadas com os participantes remanescentes, os avaliadores podem atribuir as respostas “Não” ou “Incerto”, dependendo das informações disponíveis e qualidade do relato.
3. Interpretação
Após o julgamento dos nove itens apresentados, uma avaliação geral, subjetiva, das respostas atribuídas deverá ser dada para cada estudo. Apesar de a literatura apresentar diversas metodologias de julgamento da qualidade geral dos estudos incluídos, a análise subjetiva deve ser dada de forma individual para cada estudo incluído na RS, seguindo as recomendações dos desenvolvedores da ferramenta.2,10 Para isso, considerando a discussão prévia sobre os parâmetros adotados para o julgamento de cada item, os avaliadores devem destacar, também de forma subjetiva, quais foram os itens mais importantes para a análise da qualidade metodológica dos estudos incluídos, ou seja, quais perguntas tiveram maior peso na hora de considerar o estudo com maior ou menor qualidade metodológica. Assim, caso esses itens “chave” apresentem mais respostas positivas em um estudo, em comparação a outro, pode-se dizer que o primeiro possui qualidade metodológica maior em relação ao segundo.
Há, na literatura, diversas RS de prevalência que estabeleceram pontos de corte para interpretar os resultados a partir da categorização dos “níveis” da qualidade metodológica dos estudos. Nessa estratégia, a qualidade metodológica geral de cada estudo é classificada como “Alta”, “Moderada” ou “Baixa”, a partir da contagem ou porcentagem de respostas “Sim” para os itens da ferramenta.
Além disso, é possível encontrar RS que avaliaram a qualidade metodológica de forma ampla, apresentando uma classificação geral para os estudos incluídos. Essa análise é realizada, de forma geral, considerando os itens “chave”, sendo que, se esses principais itens estiverem com 100% das respostas positivas (“Sim”), o estudo é classificado como de uma qualidade metodológica “Alta”. Caso tenham recebido uma ou mais respostas incertas ou negativas (“Incerto” ou “Não”, respectivamente), a qualidade metodológica do estudo poderá cair para “Moderada” ou “Baixa”, dependendo da avaliação subjetiva adotada previamente pelos avaliadores e claramente descrita na seção “Metodologia” da RS.
Embora tais formas de classificação geral não tenham sido preconizadas pelos desenvolvedores da ferramenta, nas orientações de uso está prevista certa flexibilidade de análise, desde que a RS aponte, de forma clara e objetiva, os critérios utilizados para a avaliação crítica de cada item da ferramenta, itens identificados como “chaves” e critérios para classificação geral dos estudos.10,11
4. Apresentação dos resultados
Por fim, os autores da RS devem apresentar os resultados da análise da qualidade metodológica, de forma descritiva, na seção “Resultados”, destacando os parâmetros de julgamento que foram discutidos entre os avaliadores para cada item. Quando algum item apresentar disparidades de respostas em relação aos outros itens (mais respostas “Sim” ou “Não” ou alguma resposta marcada como “Não aplicável”), essa informação também pode ser abordada descritivamente, de forma clara e detalhada, apresentando as justificativas para a forma de interpretação e julgamento de cada item como pré-estabelecido pelos avaliadores.10,11
Além disso, a apresentação narrativa dos resultados, geralmente mais concisa, deve vir acompanhada pela representação gráfica dos mesmos, seja por meio de uma tabela (com o resumo dos resultados apresentada no texto ou tabela completa com todas as justificativas para os julgamentos de cada item para cada estudo incluído como material suplementar) (Quadro 3) ou por meio de figuras, como gráficos de “semáforo” ou “barras ponderadas” (Figura 1 A e B, respectivamente).11 O passo a passo para geração das figuras pode ser encontrado no no Capítulo 15 deste livro.
Quadro 3. Exemplo de apresentação do resultado da avaliação crítica da qualidade metodológica dos estudos incluídos usando a ferramenta de avaliação crítica de estudos com dados de prevalência do JBI10
Question | 1. Was the sample frame appropriate to address the target population? | 2.Were study participants sampled in an appropriate way? | 3. Was the sample size adequate? | 4. Were the study subjects and the setting described in detail? | 5. Was the data analysis conducted with sufficient coverage of the identified sample? | 6. Were valid methods used for the identification of the condition? | 7. Was the condition measured in a standard, reliable way for all participants? | 8. Was there appropriate statistical analysis? | 9. Was the response rate adequate, and if not, was the low response rate managed appropriately? |
Aitken, Biant and Court-Brown 2011 |
N |
N | Y | Y | Y | U | N | Y |
Y |
Andrade et al 2010 |
N |
N | Y | Y | N | Y | Y | Y |
Y |
Fasciglione et al 2007 |
N |
N | Y | Y | Y | Y | U | Y |
Y |
Muller et al 2008 |
N |
N |
Y | Y | Y | Y | Y | Y |
Y |
Nonoyama et al 2016 |
N |
N |
Y | Y | Y | Y | Y | Y |
Y |
Singh et al 2014 |
N |
N | Y | Y | Y | Y | U |
Y |
Y |
Legend – Y=Yes, N=No, U=Unclear, NA=Not applicable.
Fonte: adaptado de Oliveira et al.16
Figura 1. Exemplo de gráficos contendo resumo da análise da qualidade metodológica com a ferramenta de avaliação crítica de estudos com dados de prevalência do JBI10 para cada estudo incluído. (A) Gráfico de “semáforo”, (B) gráfico de “barras ponderadas”
(A)
(B)
Fonte: extraída de Oliveira et al16 (elaborada a partir da ferramenta robvis17).
Referências
- Page MJ, Shamseer L, Altman DG, Tetzlaff J, Sampson M, Tricco AC, et al. Epidemiology and reporting characteristics of systematic reviews of biomedical research: a cross-sectional study. PLoS Med [Internet]. 2016 May [cited 2021 Aug 05]; 13(5). Available from: https://doi.org/10.1371/journal.pmed.1002028
- Munn Z, Moola S, Riitano D, Lisy K. The development of a critical appraisal tool for use in systematic reviews addressing questions of prevalence. Int J Health Policy Manag [Internet]. 2014 Aug [cited 2021 Aug 05];3(3):123-8. Available from: https://doi.org/10.15171/ijhpm.2014.71
- Migliavaca CB, Stein C, Colpani V, Barker TH, Munn Z, Falavigna M, et al. How are systematic reviews of prevalence conducted? A methodological study. BMC Med Res Methodol [Internet]. 2020 Apr [cited 2021 Aug 05];20(1):1-9. Available from: https://doi.org/10.1186/s12874-020-00975-3
- Peres MA, Antunes JLF, Watt RG, editors. Oral Epidemiology: a textbook on oral health conditions, research topics and methods. New York: Springer International Publishing; 2020. 536 p.
- Szklo M, Nieto FJ. Epidemiology: beyond the basics. Burlington, MA: Jones & Bartlett Publishers; 2014. 557 p.
- Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gotzsche PC, Ioannidis JP, et al. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate healthcare interventions: explanation and elaboration. BMJ [Internet]. 2009 Jul [cited 2021 Aug 05];339:b2700. Available from: https://doi.org/10.1136/bmj.b2700
- Hoffmann F, Eggers D, Pieper D, Zeeb H, Allers K. An observational study found large methodological heterogeneity in systematic reviews addressing prevalence and cumulative incidence. J Clin Epidemiol [Internet]. 2020 Mar [cited 2021 Aug 05];119:92-99. Available from:https://doi.org/1016/j.jclinepi.2019.12.003.
- Wells GA, Shea B, O’Connell Da, Peterson J, Welch V, Losos M, et al. The Newcastle-Ottawa Scale (NOS) for assessing the quality of nonrandomised studies in meta-analyses [Internet]. Oxford: The Ottawa Hospital Research Institute; 2009. [cited 2021 Aug 05]. Available from: http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp
- Aromataris E, Munn Z, editors. JBI Manual for Evidence Synthesis [Internet]. Adelaide: JBI; 2020. [cited 2021 Aug 05]. Available from: https://doi.org/10.46658/JBIMES-20-01
- Munn Z, Moola S, Lisy K, Riitano D, Tufanaru C. Systematic reviews of prevalence and incidence. In: Aromataris E, Munn Z, editors. JBI Manual for Evidence Synthesis [Internet]. Adelaide: JBI; 2020. [cited 2021 Aug 05]. Chapter 5. Available from: https://doi.org/10.46658/JBIMES-20-06
- De Luca Canto G. Revisões sistemáticas da literatura: guia prático. Curitiba: Brazil Publishing; 2020. 208 p.
- Pereira MG. Epidemiologia: teoria e prática. Rio de Janeiro: Guanabara Koogan; 1995. 576 p.
- Daniel WW. Biostatistics: a foundation for analysis in the health sciences. ed. Nova Iorque: John Wiley & Sons; 1999. 720 p.
- Berg N. Non-response Bias. In: Kempf-Leonard K, editor. Encyclopedia of Social Measurement. Vol 2. Londres: Academic Press; 2010.
- Lambert J. Statistics in brief: how to assess bias in clinical studies? Clin Orthop Relat Res [Internet]. 2011 Jun [cited 2021 Aug 05];469(6):1794-1796. Available from: https://doi.org/10.1007/s11999-010-1538-7
- Oliveira JMD, Pauleto P, Werlich MO, Massignan C, Lehmkuhl KM, Porfírio GJM, et al. Prevalence of orofacial injuries in wheeled non-motor sports athletes: a systematic review and meta-analysis. Dent Traumatol [Internet]. 2021 Aug [cited 2021 Aug 05];37(4):546-556. Available from: https://doi.org/10.1111/edt.12661
- McGuinness, LA, Higgins, JPT. Risk-of-bias VISualization (robvis): An R package and Shiny web app for visualizing risk-of-bias assessments. Res Syn Meth [Internet]. 2021 Jan [cited 2021 Aug 04]; 1-7. Available from: https://doi.org/10.1002/jrsm.1411.