RISCO DE VIÉS EM REVISÕES SISTEMÁTICAS: GUIA PRÁTICO (COBE/UFSC)

CAPÍTULO 2

 Tipos de Vieses em Ensaios Clínicos Randomizados (ECR)

Joel Ferreira Santiago Junior, Cleidiel Aparecido Araújo Lemos, Victor Eduardo de Souza Batista, Mariela Peralta-Mamani, Bruna Machado da Silva, Heitor Marques Honório

 1. Introdução

A prática da saúde baseada em evidências representa um pilar importante para a tomada de decisões clínicas. Ao considerar-se os diferentes tipos de estudo, pode-se deparar com dois grandes grupos de estudos clínicos, os estudos observacionais e os ensaios clínicos.¹ Os estudos observacionais, tais como, estudos de coorte, caso-controle, transversais, relatos ou série de casos e ecológicos, permitem que os participantes estejam classificados nos respectivos grupos desde o início da pesquisa, o que, de certa forma, faz com que os investigadores avaliem, mas não promovam ou atribuam nenhum tipo de intervenção/exposição à pesquisa. Já os ensaios clínicos, referem-se a pesquisas nas quais os participantes dos estudos são designados a receber determinada intervenção, assim, podem ser acompanhados de forma prospectiva, para se observar os resultados de interesse.¹ Ainda, estes podem ser subdivididos em Ensaios Clínicos Randomizados (ECR) e Estudos de Intervenção Não Randomizados (EINR).

Os ECR apresentam uma alocação aleatória e imprevisível da distribuição dos participantes da pesquisa, o que justifica seu posicionamento como um modelo importante para estudos de intervenção.^2-4 Ademais, concebem a melhor evidência clínica para a modalidade de estudos de intervenção na saúde e têm sido, tradicionalmente, vistos como o “padrão-ouro”, situando-se no topo de hierarquia de níveis de evidência dentre os estudos primários.¹ Contudo, existem preocupações com o delineamento e possíveis resultados desses ensaios.

Um estudo clássico apontou que existem ECR publicados com deficiências nos métodos de randomização, existindo ausência de informações sobre o tipo de distribuição dos pacientes⁵, no entanto, as recomendações básicas sugerem que um estudo randomizado forneça pelo menos as seguintes informações metodológicas: a) a descrição do desenho de ensaio (tipo de randomização); b) evidência  de que a alocação e o método de geração de sequências aleatórias foram empregados adequadamente; c) o formato da alocação realizada deve mencionar se houve ocultação ou não; d) o método utilizado para compor o tamanho da amostra precisa ser abordado; e) comparação nos grupos iniciais previamente ao experimento deve ser executada, eliminando qualquer diferença entre os grupos. Além disso, informações acerca do cegamento do paciente e operador também precisam ser fornecidas nesse tipo de estudo.⁵

Ao avaliar os ECR, podem existir diferenças de randomização, desvio de protocolo, dados faltantes (não apresentados ou justificados), desvio de aferição do desfecho inicial, relato seletivo de informações e possíveis fontes de financiamento que influenciaram em algum ponto da pesquisa. Por isso, conhecer esses fatores é essencial para uma boa avaliação e recomendação dos trabalhos clínicos nessa modalidade. Portanto, neste capítulo, estes serão destacados, já que, se esse tipo de pesquisa não for bem delineado, executado e relatado, produzirá uma estimativa parcial⁶ e, consequentemente, implicará em um risco de viés nos diferentes domínios. Todavia, não é o intuito abordar aqui as ferramentas consideradas para análise dos vieses desse tipo de estudo (essas serão abordadas nos Capítulos 5 e 6), mas sim elucidar os itens necessários em ECR que fornecem subsídio para o leitor tomar uma adequada decisão clínica.

2. Fontes de viés em Ensaios Clínicos Randomizados (ECR)

2.1.  Randomização

Como um dos primeiros pilares relacionados a esse tipo de estudo, o processo de randomização possibilita minimizar as possíveis diferenças existentes em relação aos grupos determinados que podem impactar diretamente no desfecho avaliado.¹ A randomização permite que os participantes apresentem chances similares de serem alocados em qualquer um dos grupos (intervenção ou controle), evitando, assim, o viés de seleção e garantindo o sigilo de alocação necessário.⁷

Ao realizar a análise de um ECR, deve-se atentar não somente em reconhecer que foi realizada a randomização, mas também, identificar o método de randomização empregado e quais eventuais modificações nos grupos randomizados podem ter ocorrido ao longo do tratamento. A literatura discute, por exemplo, a necessidade de que alterações dos grupos (desistência de pacientes ou acréscimo de pacientes) precisam ser avaliadas com cautela, a fim de que os desfechos propostos não sejam impactados.⁸

Existem estudos que, somente após a conclusão, reconhecem que houve um desbalanceamento dos grupos de estudo⁹, prejudicando grandemente a confiabilidade da pesquisa, por isso é importante reconhecer, antes da execução clínica do projeto, eventuais variáveis que podem impactar em um determinado desfecho.

Ademais, diferentes estratégias de randomização podem ser consideradas, tais quais, randomização simples, em bloco, estratificada ou adaptativa.^1,7

Na randomização simples, não são atribuídas restrições a respeito da sequência de randomização ou do tamanho final das amostras¹, o que equivale ao processo de lançamento de uma moeda, dando chances iguais de alocação do participante em ambos os grupos. Além disso, essa lista de randomização pode ser obtida por meio de um programa de computador, permitindo, assim, a preparação de alocação através de envelopes opacos que não permitam acesso ao conteúdo.⁷ Entretanto, como desvantagem desse método existe a possibilidade de desequilíbrio no número de participantes atribuídos aos diferentes braços de avaliação.^1,7

No que se refere à randomização permutada em bloco, trata-se de uma sequência aleatória de vários participantes em blocos pré-determinados, em vez de um único indivíduo, sendo possível equilibrar os participantes para cada braço avaliado.^1,7

A randomização estratificada, por sua vez, pode ser considerada em situações nas quais se deseja garantir o equilíbrio em determinados fatores, para isso, estes são previamente classificados em estratos, para, posteriormente, gerar-se uma lista separada de randomização para cada estrato definido.^1,7 No entanto, a minimização também pode ser considerada como alternativa aceitável para garantir o equilíbrio nos fatores de prognóstico entre os braços avaliados (intervenção e controle), principalmente quando um número maior de fatores está envolvido.^1,3

O processo na minimização parte de uma randomização inicial simples, onde, o primeiro participante é alocado aleatoriamente e, para cada paciente subsequente, é identificada a alocação do tratamento, o que minimiza o desequilíbrio entre os grupos naquele momento, sendo que pode ser direta ou estabelecida ao acaso com um peso em favor da intervenção para minimizar o desequilíbrio. Ressalta-se que a utilização desse componente aleatório é geralmente preferível.

Além disso, a minimização permite uma semelhança entre as características dos participantes em todos os estágios do estudo, mesmo em pequenos grupos avaliados, e, por isso, é considerada metodologicamente equivalente aos ensaios randomizados, mesmo sem a incorporação do componente aleatório.³

Por fim, há a randomização adaptativa de resultado, que se refere a procedimentos de randomização que ajustam a proporção de alocação conforme avança o trabalho. Essa randomização possibilita atribuir mais pacientes aos tratamentos mais promissores com bases nos dados acumulados do trabalho para minimizar o número esperado de falhas existentes.¹ Cabe ressaltar que o uso de software nesse processo somará e o tornará reprodutível e transparente. Dentro desse contexto, uma proposta realizada por Zabor et al.¹ determina alguns fatores que devem ser considerados para a escolha do método de randomização (Figura 1).

Figura 1. Fluxograma dos fatores considerados para seleção do método de randomização

Fonte: adaptada de Zabor et al.¹

Assim, o leitor, ao analisar um ECR, deve observar o perfil dos grupos pós-randomização, uma vez que podem existir conclusões tendenciosas oriundas de grupos não equiparáveis. Pode-se acrescentar que os participantes da pesquisa, eventualmente, não representam necessariamente toda a população para a qual o estudo foi projetado.¹⁰

No domínio da randomização, como destacado previamente, um dos fatores que deve ser de compreensão do leitor se refere ao viés de seleção de amostra. Em ensaios clínicos, este pode levar a conclusões inadequadas de uma intervenção, ocorrendo, por exemplo, devido à implementação de uma sequência não-aleatória dos pacientes com base no preconceito do operador ou facilidades do meio, e, consequentemente, diferenças em relação às características demográficas ou relacionadas ao tratamento podem surgir no final da pesquisa.² Por isso, é importante uma abordagem sistemática e aleatorizada para o processo de geração da sequência de alocação dos grupos.

Contudo, sequências geradas por alguma regra específica, como data de nascimento, dias da semana ou registros clínicos não são consideradas adequadas para a randomização. Além disso, alguns métodos de alocação para definição de participantes através de categorias, tais como julgamento do investigador/clínico, preferência do participante e disponibilidade da intervenção podem implicar em um elevado risco de viés de seleção para essas situações. Assim, métodos devem ser restritos a abordagens não viciadas, como o uso de tabelas de números aleatórios, softwares on-line, uso de computadores.^2.3

Outro ponto relevante diz respeito à ocultação da alocação, o que garante que a randomização seja implementada e atribuída aos pacientes recrutados sem o conhecimento prévio do investigador ou do participante. Pode-se ocultar a alocação por meio eletrônico, envelopes opacos selados ou, ainda, preferencialmente, com a ligação telefônica a uma central para determinação da alocação.^2,11,12 De acordo com Fleming et al.², o cegamento do operador para fins da randomização é relevante, favorecendo a qualidade metodológica dos estudos clínicos. Portanto, o fato de utilizar uma alocação aleatória disponível e não-oculta pode configurar a introdução de um viés de seleção pela alocação intencional dos participantes.

Saltaji et al.¹³ realizaram um levantamento de 540 ECR publicados na área de Odontologia entre os anos de 1955-2013, com a intenção de verificar alguns fatores relacionados aos riscos de viés, qualidade metodológica e dos relatórios e falhas no processo de randomização. Os autores verificaram que a geração de sequência foi inadequada (com risco de viés incerto ou alto) em 68% (n = 367) dos estudos, enquanto a ocultação da alocação foi inadequada na maioria dos estudos (n = 464; 85,9%). Assim, concluíram que maior atenção em relação a esses fatores deve ser considerada por parte dos autores, com a intenção de estabelecer um trabalho com alto rigor metodológico.

2.2.  Desvios do Protocolo

Todos ECR necessitam de registro prévio de protocolo com a justificativa do estudo, métodos utilizados e plano de análise proposto, bem como os detalhes organizacionais e administrativos que vão desde o início do estudo até o relato dos resultados. Portanto, tendo em vista a importância do tema, diretrizes para redação de protocolo para registro de ECR foram desenvolvidas para melhorar a transparência dos documentos de pesquisa, como relatórios de resultados de pesquisas para publicação em periódicos, auxiliando em sua avaliação crítica e interpretação¹⁴, já que esse protocolo passou a ser exigido por parte dos periódicos científicos.

As conclusões de um ECR geralmente apontam resultados importantes e esperados pelos pesquisadores e clínicos. No entanto, ao longo das últimas décadas, surgiu a necessidade da verificação dos registros, ou seja, investigar se os protocolos propostos para o desenvolvimento da pesquisa estavam sendo seguidos até o momento de finalização dos projetos, o que reforçou a indispensabilidade de um adequado planejamento da execução dos protocolos de pesquisa. Ainda, um estudo recente comprovou a importância de esforços contínuos para ampliar a qualidade da conduta inicial da pesquisa e sucessivos relatórios, assim como se deve educar a comunidade científica sobre limitações nas conclusões desses trabalhos, a fim de reduzir o risco de danos potenciais na prática clínica.¹⁵

Boutron et al.¹⁶ avaliaram 616 ECR, identificando que, no momento da publicação, havia divergências do proposto na metodologia e interpretação dos resultados dos grupos focando somente na análise das amostras que foram estatisticamente significativas para o tratamento experimental quando comparado ao baseline, desconsiderando a comparação com o grupo controle. Ainda, foi observada interpretação inadequada dos resultados não significativos, concluindo achados diferentes dos resultados obtidos.¹⁶

Outro estudo apontou que um em cada seis ECR publicados em periódicos de alto impacto na área de medicina cardiovascular poderia, eventualmente, ter uma mudança no resultado primário, se suposições plausíveis sobre a taxa de eventos de pacientes perdidos durante o acompanhamento fossem consideradas. Os autores recomendaram empenho dos pesquisadores no sentido de reduzir ao máximo a desistência/perda de pacientes, a fim de aprimorar a viabilidade dos ECR.¹⁷ Cabe reforçar que todas as desistências de pacientes precisam ser justificadas nos estudos clínicos.

Desvios do protocolo também podem ocorrer devido a erros sistemáticos, situação em que o pesquisador aplica um tratamento diferenciado, mais cuidadoso, em um determinado grupo, também chamado de viés de performance. Assim, quando o cegamento dos pacientes e investigadores é viável, garante-se que nenhum deles esteja ciente da intervenção proposta. Nesse aspecto, uma análise da metodologia revela se houve o treinamento da equipe de pesquisa, implementação padronizada dos procedimentos clínicos e métodos estatísticos empregados, etapas que podem reduzir esse tipo de viés.²

 2.3. Dados faltantes

Dados faltantes ou desfechos incompletos podem levar ao risco de viés na estimativa do efeito da intervenção dos ECR. Todavia, os ECR estão frequentemente susceptíveis a tais perdas de dados, devido às dificuldades de um controle mais rigoroso das variáveis externas, principalmente os ECR com acompanhamento longo.^18,19

As perdas de dados se configuram como atritos por razões como:

• Falha ou perda de seguimento dos participantes de pesquisa (exemplos: desistência, perda da localização, ausência de uma avaliação onde os dados seriam mensurados durante o estudo, dados mensurados insuficientes ou não relevantes e morte antes do desfecho).
• Decisão dos investigadores por uma interrupção inadequada (exemplos: participantes de pesquisa são retirados do estudo por identificação tardia de uma inelegibilidade).
• Dados perdidos ou ausentes por outras razões.

 2.3.1 Como avaliar esse potencial risco de viés?

Primeiro, a avaliação deve se basear nas perguntas que nortearam o ECR e não na forma como os autores do ensaio descreveram a análise. Posteriormente, o critério de elegibilidade e a forma da mensuração desses possíveis dados devem estar bem definidos antes da observação dos desfechos.^18,19

No julgamento do risco de viés, deve-se considerar dois pontos:

• O verdadeiro valor do desfecho nos participantes da pesquisa é o dado que deveria ter sido reportado, mas não foi. Pois se há uma notória diferença no desfecho entre os participantes da pesquisa com e sem dados, há risco de viés.
• O processo na perda dos dados é a razão ou motivo da perda. Exemplos: a quantidade e distribuição dos participantes entre os grupos; retirada ou omissão de dados relatados após os critérios de elegibilidade estarem definidos; do universo reportado nos resultados, realizar estatística apenas nos resultados positivos. Nesses casos, deve-se avaliar o potencial risco de viés.

As justificativas para ausência desses dados devem ser reportadas pelos autores nos relatórios da pesquisa (dissertações, teses e artigos) e, ainda, deve-se analisar como essa ausência de dados afeta o contexto clínico, pois poderá ser considerada como um risco de viés para estimativa tendenciosa do efeito dos desfechos.^18,20 Contudo, exclusões ou ausência justificáveis dos dados, que não afetam de modo crítico a estimativa de efeito, não precisam ser consideradas como potencial risco de viés.²¹ As imputações são cálculos estatísticos que tentam compensar ou minimizar esse risco de viés dos dados faltantes, mas também devem ser avaliadas de forma crítica.^18,22

2.4. Aferição dos desfechos

Erros na aferição dos desfechos podem gerar risco de viés nas estimativas do efeito da intervenção. Frequentemente, são chamados de erros de medição (para resultados contínuos), classificação incorreta (para resultados dicotômicos ou categóricos) ou sub ou superavaliação (para eventos).¹⁹ Portanto, a forma de mensurar ou aferir o desfecho deve ser pensada durante a metodologia do estudo, para minimizar o risco de viés nos resultados que serão encontrados para responder à pergunta norteadora do estudo. Ainda visando à minimização deste viés, três medidas podem ser tomadas: a) condição duplo-cego (participante da pesquisa e profissional investigador); b) normas rígidas para aferição; c) coleta de dados de maneira uniforme e consistente.²³

2.4.1. Como avaliar esse potencial risco de viés?

1. Verificar se o método de aferição do desfecho está apropriado.
2. Verificar se a aferição do desfecho difere entre os grupos do estudo. Os métodos usados ​na aferição do desfecho devem ser os mesmos em todos os grupos.
3. Verificar quem é o avaliador do desfecho e se está cegado ou não (Quadro 1).

Quadro 1. Avaliador do desfecho e consequência do comprometimento do cegamento

Avaliador do desfecho	Comprometimento do cegamento
Participante da pesquisa: quando o desfecho é relatado pelo próprio participante (como dor, qualidade de vida, ou questionário autopreenchido).	O não-cegamento e consequente conhecimento do participante da intervenção pode interferir nos resultados. Deve-se considerar o risco de viés.
Profissional interventor: quando o desfecho é por exame clínico, a ocorrência de um evento clínico ou uma decisão terapêutica (como uma intervenção cirúrgica).	O não-cegamento e consequente conhecimento do profissional da intervenção pode interferir nos resultados. Deve-se considerar o risco de viés.
Observador não envolvido diretamente na intervenção: comitês ou um profissional de saúde registrando os resultados.	O cegamento exclui a possibilidade de os resultados serem tendenciosos à intervenção testada. Não se considera o risco de viés neste caso.

Fonte: adaptado de Higgins et al.¹⁹

Um mesmo estudo poderá apresentar desfechos compostos que devem ser avaliados separadamente em relação ao potencial risco de viés.¹⁹

2.5.  Relato Seletivo

Este tipo de viés se refere ao relato seletivo de alguns dos resultados ou análises realizadas, dependendo da natureza e direção dos resultados. Os autores dos ECR, devido à necessidade de sintetizar as informações nos seus artigos, podem omitir a publicação de alguns dos resultados, tanto benéficos quanto prejudiciais.²⁴

O relato seletivo pode ser considerado:

• Não-relato seletivo dos resultados, que é referente ao relato seletivo de medições de resultados particulares não reportados no relatório final (selective non-reporting of results)
• Subnotificação seletiva dos resultados, referindo-se aos resultados relatados de forma incompleta (selective under-reporting of results)

No relato seletivo de análises específicas, é possível encontrar apenas o resultado do valor de p-significativo, em vez de estatísticas resumidas, estimativa de efeito e medida de precisão, o que pode afetar a inclusão de estudos na síntese quantitativa, uma vez que os dados necessários para fazer meta-análise podem estar ausentes ou incompletos, sendo que a exclusão desses estudos na meta-análise limitaria a síntese quantitativa da Revisão Sistemática.²⁴

A evidência desse tipo de viés pode ser obtida comparando o que foi colocado no protocolo do ECR com o que está disponível no relatório final.  Contudo, relatórios inconsistentes entre protocolos e registros são frequentes. Ademais, o relato seletivo ou subnotificação dos resultados é mais comum para desfechos secundários do que desfechos primários.²⁵

Portanto, autores de Revisões Sistemáticas precisam abordar essa falta de dados dos resultados para que a revisão seja considerada uma fonte de evidências confiável. Nesse sentido, é importante ter cuidado durante a extração de dados dos ensaios clínicos, para identificar estudos que fizeram alguma medida, mas que o resultado não foi reportado no trabalho publicado. Nesses casos se recomenda entrar em contato com os autores do ensaio clínico solicitando as informações faltantes.²⁶

2.6. Financiamento

Na pesquisa clínica, é importante conduzir uma investigação relevante e imparcial, pois os conflitos de interesse financeiros surgem, principalmente, quando pesquisadores possuem relacionamentos com empresas que fabricam medicamentos ou dispositivos que são pesquisados em ECR.²⁷

Os autores de Revisão Sistemática precisam considerar a fonte de financiamento e os conflitos de interesse dos autores dos estudos primários incluídos, de maneira a explorar inconsistências e possível heterogeneidade dos resultados. Portanto, é necessário fazer uma análise crítica a respeito de possíveis influências dos conflitos de interesse sobre o desenho do estudo, a conduta, análise e relato de resultados.²⁴

Atualmente, é comum que as revistas científicas exijam dos autores dos ECR uma declaração de conflitos de interesse, para detalhamento das fontes de financiamento do estudo e vínculo profissional dos pesquisadores.

Os conflitos de interesse financeiros podem ser:

• Relacionados a um ensaio específico, quando uma empresa financia um ECR de um medicamento produzido pela mesma empresa.
• Relacionados aos autores de um ensaio clínico, quando os autores são proprietários de ações em empresas ou têm um emprego em uma empresa farmacêutica. Estes podem ser considerados conflitos financeiros individuais e institucionais dos pesquisadores.

O financiamento de ECR pela indústria é comum, principalmente em testes de medicamentos. As empresas que financiam esses ensaios podem se beneficiar após a publicação de resultados positivos, aumentando o valor de suas ações. Além disso, devem ser considerados quaisquer colaboradores comerciais com conflitos de interesse, por exemplo, uma organização de pesquisa contratada pelo financiador para coletar e analisar os dados do ensaio clínico ou o envolvimento de uma agência de redação médica.²⁴ Por outro lado, os pesquisadores também podem ganhar financeiramente com o registro de patentes.²⁷

Entre os tipos de financiamento e envolvimento dos financiadores da indústria nos ensaios clínicos, destacam-se:

• Fornecimento gratuito da medicação, sendo o estudo planejado e conduzido de forma independente e financiado por meios públicos.
• Financiamento e controle total de um teste do ensaio clínico. Em alguns casos, podem ser financiados por duas empresas diferentes que produzem dois medicamentos.

Ao analisar o financiamento da indústria e os resultados dos ensaios clínicos, observa-se que aqueles financiados por empresas fabricantes de medicamentos ou dispositivos podem ser mais propensos a resultados estatisticamente significativos e conclusões positivas. Além disso, existe menos concordância entre os resultados e as conclusões de estudos patrocinados pela indústria do que em estudos não patrocinados por esta.²⁷

No que tange à percepção de pesquisadores de ECR patrocinados pela indústria, alguns relatam que pode haver ensaios que deveriam ser realizados e que a indústria não quer financiar, outros, que empresas farmacêuticas tentam encerrar o ensaio prematuramente, devido à análise de dados antes da conclusão da pesquisa.²⁸

Ademais, o contrato suplementar com a indústria para fazer análises secundárias é somente realizado quando existe um resultado positivo do novo medicamento, por isso, quando não se encontra efeito da intervenção, alguns pesquisadores com fortes laços com uma empresa podem tentar a manipulação de dados para uma interpretação excessivamente favorável no relatório final. Assim, conflitos financeiros comerciais podem levar a diferentes mecanismos de manipulação, como usar um comparador inferior, acessar os dados dos estudos antes de concluí-los, não publicar estudos com resultados negativos e realizar múltiplas análises de um estudo com resultado positivo.²⁹

Portanto, em ECR com fonte de financiamento incerta e sem declaração de conflitos de interesse, sugere-se pesquisar as bases de dados Open Payments, ClinicalTrials.gov, e as declarações de conflitos de interesse em publicações anteriores dos autores do estudo.²⁴

Na pesquisa clínica, é preciso melhorar a identificação e gerenciamento de conflitos de interesse financeiros, para isso, métodos e ferramentas podem ser desenvolvidos, a fim de avaliar o risco de viés associado ao financiamento e conflitos de interesse não financeiros.²⁷ Dessa forma, está sendo desenvolvida a ferramenta TACIT (Tool for Addressing Conflicts of Interest in Trials; http://tacit.one), sob os auspícios do Cochrane Bias Methods Group, cujo  objetivo é facilitar o julgamento sistemático e transparente de “preocupação notável” sobre conflitos de interesse de financiadores, investigadores e autores de ensaios clínicos.

3. Considerações finais

Ensaios clínicos randomizados representam um dos modelos mais importantes de estudo em saúde, portanto, sua execução deve ser transparente e reprodutível. Assim, os tópicos abordados neste capítulo representam um direcionamento para execução e análise dessa categoria de trabalhos no estágio atual. Afinal, pesquisadores e clínicos na área da saúde precisam estar constantemente atualizados e se pautar nos métodos mais íntegros, para que o delineamento e consequentes resultados, de fato, ofereçam benefícios à população em geral.

 

Referências

1. Zabor EC, Kaizer AM, Hobbs BP. Randomized Controlled Trials. Chest [Internet]. 2020 Jul [cited 2021 Jul 31];158(1S):S79-S87. Available from: https://doi.org/10.1016/j.chest.2020.03.013
2. Fleming PS, Lynch CD, Pandis N. Randomized controlled trials in dentistry: common pitfalls and how to avoid them. J Dent [Internet]. 2014 Aug [cited 2021 Jul 31];42(8):908-14. Available from: https://doi.org/10.1016/j.jdent.2014.06.004
3. Moher D, Hopewell S, Schulz KF, Montori V, Gøtzsche PC, Devereaux PJ, et al. CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ [Internet]. 2010 Mar [cited 2021 Jul 31];340:c869. Available from: https://doi.org/10.1136/bmj.c869
4. Reeves BC, Deeks JJ, Higgins JPT, Wells GA. Including non-randomized studies. In: Higgins JPT, Green S, editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 5.1.0. London:The Cochrane Collaboration; 2011. [cited 2021 Jul 31]. Chapter 13. Available from: http://www.cochrane-handbook.org
5. Altman DG, Doré CJ. Randomisation and baseline comparisons in clinical trials. Lancet [Internet]. 1990 Jan [cited 2021 Jul 31];335(8682):149-53. Available from: https://doi.org/10.1016/0140-6736(90)90014-v
6. Deaton A, Cartwright N. Understanding and misunderstanding randomized controlled trials. Soc Sci Med [Internet]. 2018 Aug [cited 2021 Jul 31];210:2-21. Available from: https://doi.org/10.1016/j.socscimed.2017.12.005
7. Ferreira JC, Patino CM. Randomização: mais do que o lançamento de uma moeda. J Bras Pneumol [Internet]. 2016 Sep [cited 2021 Jul 31];42(5):310. Available from: https://doi.org/10.1590/S1806-37562016000000296
8. Altman DG. Avoiding bias in trials in which allocation ratio is varied. J R Soc Med [Internet]. 2018 Apr [cited 2021 Jul 31];111(4):143-4. Available from: https://doi.org/10.1177/0141076818764320
9. Bolzern J, Mnyama N, Bosanquet K, Torgerson DJ. A review of cluster randomized trials found statistical evidence of selection bias. J Clin Epidemiol [Internet]. 2018 Mar [cited 2021 Jul 31];99:106-12. Available from: https://doi.org/10.1016/j.jclinepi.2018.03.010
10. Cook CE, Thigpen CA. Five good reasons to be disappointed with randomized trials. J Man Manip Ther [Internet]. 2019 Mar [cited 2021 Jul 31];27(2):63-5. Available from: https://doi.org/10.1080/10669817.2019.1589697
11. Haag U. Technologies for Automating Randomized Treatment Assignment in Clinical Trials. Ther Innov Regul Sci [Internet]. 1998 Jan [cited 2021 Jul 31];32(1):7-11. Available from: https://doi.org/10.1177/009286159803200102
12. Schulz KF. Subverting randomization in controlled trials. JAMA [Internet]. 1995 Nov [cited 2021 Jul 31];274(18):1456-58. Available from: https://doi.org/10.1001/jama.1995.03530180050029
13. Saltaji H, Armijo-Olivo S, Cummings GG, Amin M, Flores-Mir C. Randomized clinical trials in dentistry: risks of bias, risks of random errors, reporting quality, and methodologic quality over the years 1955-2013. PloS One [Internet]. 2017 Dec [cited 2021 Jul 31];12(12):e0190089. Available from: https://doi.org/10.1371/journal.pone.0190089
14. Tetzlaff JM, Chan AW, Kitchen J, Sampson M, Tricco AC, Moher D. Guidelines for randomized clinical trial protocol content: a systematic review. Syst Rev [Internet]. 2012 Sep [cited 2021 Jul 31];1:43. Available from: https://doi.org/10.1186/2046-4053-1-43
15. Bamat NA, Ekhaguere OA, Zhang L, Flannery DD, Handley SC, Herrick HM, et al. Protocol adherence rates in superiority and noninferiority randomized clinical trials published in high impact medical journals. Clin Trials [Internet]. 2020 Oct [cited 2021 Jul 31];17(5):552-9. Available from: https://doi.org/10.1177/1740774520941428
16. Boutron I, Dutton S, Ravaud P, Altman DG. Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA [Internet]. 2010 May [cited 2021 Jul 31];303(20):2058-64. Available from: https://doi.org/10.1001/jama.2010.651
17. Fong LCW, Ford TJ, da Costa BR, Jüni P, Berry C. Bias and loss to follow-up in cardiovascular randomized trials: a systematic review. J Am Heart Assoc [Internet]. 2020 Jul [cited 2021 Jul 31];9(14):e015361. Available from: https://doi.org/10.1161/jaha.119.015361
18. Higgins JPT, Altman DG, Sterne JAC. Assessing risk of bias in included studies. In: Higgins JPT, Green S editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 5.1. London: Cochrane; 2011. [cited 2021 Jul 31]. Chapter 8. Available from: http://www.training.cochrane.org/handbook
19. Higgins JPT, Savović J, Page MJ, Elbers RG, Sterne JAC. Assessing risk of bias in a randomized trial. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.2. London: Cochrane; 2021. [cited 2021 Jul 31]. Chapter 8. Available from:https://training.cochrane.org/handbook/current/chapter-08
20. Kjaergard LL, Villumsen J, Gluud C. Reported methodologic quality and discrepancies between large and small randomized trials in meta-analyses. Ann Intern Med [Internet]. 2001 Dec [cited 2021 Jul 31];135(11):982-9. Available from: https://doi.org/10.7326/0003-4819-135-11-200112040-00010
21. Fergusson D, Aaron SD, Guyatt G, Hébert P. Post-randomisation exclusions: the intention to treat principle and excluding patients from analysis. BMJ [Internet]. 2002 Sep [cited 2021 Jul 31];325(7365):652-4. Available from: https://doi.org/10.1136/bmj.325.7365.652
22. Lieber R, Pandis N, Faggion CM. Reporting and handling of incomplete outcome data in implant dentistry: a survey of randomized clinical trials. J Clin Periodontol [Internet]. 2020 Feb [cited 2021 Jul 31];47(2):257-66. Available from: https://doi.org/10.1111/jcpe.13222
23. Coutinho M. Principles of clinical epidemiology applied to cardiology. Arq Bras Cardiol [Internet]. 1998 Aug [cited 2021 Jul 31];71(2):109-16. Available from: https://doi.org/10.1590/s0066-782×1998000800003
24. Boutron I, Page MJ, Higgins JPT, Altman DG, Lundh A, Hróbjartsson A. Considering bias and conflicts of interest among the included studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. editors. Cochrane Handbook for Systematic Reviews of Interventions [Internet]. Version 6.2. London: Cochrane, 2021. [cited 2021 Jul 29]. Chapter 7. Available from: https://training.cochrane.org/handbook/current/chapter-07
25. Li G, Abbade LPF, Nwosu I, Jin Y, Leenus A, Maaz M, et al. A systematic review of comparisons between protocols or registrations and full reports in primary biomedical research. BMC Med Res Methodol [Internet]. 2018 Jan [cited 2021 Jul 31];18(1):1-20. Available from: https://doi.org/10.1186/s12874-017-0465-7
26. Kirkham JJ, Dwan KM, Altman DG, Gamble C, Dodd S, Smyth R, et al. The impact of outcome reporting bias in randomised controlled trials on a cohort of systematic reviews. BMJ [Internet]. 2010 Feb [cited 2021 Jul 31];340:c365. Available from: https://doi.org/10.1136/bmj.c365
27. Savović J, Akl EA, Hróbjartsson A. Financial conflicts of interest in clinical research. Intensive Care Med [Internet]. 2018 Oct [cited 2021 Jul 31];44(10):1767-9. Available from: https://doi.org/10.1007/s00134-018-5333-3
28. Østengaard L, Lundh A, Tjørnhøj-Thomsen T, Abdi S, Gelle MHA, Stewart LA, et al. Influence and management of conflicts of interest in randomised clinical trials: qualitative interview study. BMJ [Internet]. 2020 Oct [cited 2021 Jul 31];371:m3764. Available from: https://doi.org/10.1136/bmj.m3764
29. Lundh A, Lexchin J, Mintzes B, Schroll JB, Bero L. Industry sponsorship and research outcome. Cochrane Database Syst Rev [Internet]. 2017 Feb [cited 2021 Jul 31];2(2):MR000033. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8132492/pdf/MR000033.pdf