RISCO DE VIÉS EM REVISÕES SISTEMÁTICAS: GUIA PRÁTICO (COBE/UFSC)

CAPÍTULO 10

Análise da Qualidade Metodológica de Estudos Observacionais (Coorte e Caso-Controle) com a Ferramenta Newcastle-Ottawa Scale (NOS)

Fernando Valentim Bitencourt, Luciana Butini Oliveira, Carla Massignan, Cristine Miron Stefani, Graziela De Luca Canto

1. Introdução

Revisões sistemáticas (RS) em saúde, geralmente, utilizam Ensaios Clínicos Randomizados (ECR) para responder às questões de intervenção. Entretanto, em certas circunstâncias, estes não são considerados adequados ou viáveis para responder determinadas perguntas de pesquisa, como aquelas acerca de associação e fatores de risco. Nesse caso, justifica-se a utilização de evidências de estudos observacionais, porque não é adequado randomizar pacientes para potenciais fatores de riscos por questões éticas. Adicionalmente, a avaliação da incidência de uma determinada doença ou desfecho de interesse, muitas vezes, requer amostra populacional grande e monitoramento longitudinal, inviabilizando a execução de um ECR. Sendo assim, em situações que não seja possível a realização de estudos de intervenção, os estudos observacionais do tipo coorte, caso-controle e transversais se apresentam como uma alternativa factível.^1,2

A Newcastle-Ottawa Scale (NOS) é uma ferramenta para avaliação da qualidade metodológica em estudos observacionais (coorte e caso-controle), sendo a única aceita pela Colaboração Cochrane.³ A ferramenta NOS é produto de uma colaboração contínua entre as Universidades de Newcastle, na Austrália, e de Ottawa, no Canadá, e foi desenvolvida, quanto ao desenho, conteúdo e facilidade de uso, visando à incorporação da avaliação da qualidade metodológica na interpretação dos resultados da meta-análise.⁴ A NOS é organizada considerando três dimensões principais dos estudos observacionais: a seleção dos participantes, a comparabilidade entre grupos e o desfecho de interesse.⁵

2. Aplicação

A organização da equipe para aplicação da ferramenta NOS deve seguir os passos descritos no Capítulo 1 deste livro e a ferramenta completa, no idioma original (inglês), pode ser acessada no site  http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp, que também disponibiliza uma introdução geral sobre uso da ferramenta NOS e três arquivos: 1) uma apresentação em PowerPoint do grupo de pesquisa que desenvolveu a ferramenta; 2) um manual em Word/PDF com orientações de uso; e 3) escalas utilizadas para avaliação. Assim, recomenda-se baixar o documento em Word para facilitar o preenchimento da avaliação de cada estudo.

A escala para os estudos de coorte é dividida em três dimensões: seleção, comparabilidade e avaliação do desfecho. Para os estudos caso-controle, a escala é organizada em seleção de casos e controles, comparabilidade de casos e controles e determinação da exposição. As versões para os dois desenhos de estudo, no idioma original (inglês), podem ser encontradas no Quadro 3 (A, B).

2.1. Orientação para uso da ferramenta em estudos de coorte

Três dimensões contribuem para a pontuação de qualidade geral, incluindo avaliação da seleção da coorte exposta e não exposta, comparabilidade das duas coortes e avaliação dos resultados (Quadro 1). A NOS atribui uma pontuação mais elevada aos estudos de coorte com representatividade da comunidade da coorte exposta. Por exemplo, famosos estudos de coorte prospectivos, como o British Doctors Study⁶, o Physician’s Health Study⁷ e o Nurses Health Study⁸, teriam uma pontuação de qualidade inferior em comparação com o Framingham Heart Study⁹, porque as coortes dos primeiros não são representativas da população em geral.

Em teoria, a representatividade da comunidade em uma coorte exposta tem a vantagem de melhor generalização dos resultados do estudo em comparação com uma coorte exposta não representativa. No entanto, os estudos de coorte que objetivam montar uma coorte exposta representativa, frequentemente, sofrem de baixa resposta de baseline, resultando em uma generalização questionável dos resultados do estudo. Coortes expostas não representativas podem ter a vantagem de uma resposta de baseline mais alta, melhor avaliação da exposição e melhor resposta de acompanhamento dos membros da coorte, o que pode resultar em uma maior validade interna dos resultados do estudo em comparação com um estudo de coorte com uma coorte exposta representativa.¹⁰

Quadro 1. Ferramenta Newcastle-Ottawa Scale (NOS) para avaliação da qualidade metodológica de estudos de coorte (em tradução livre para a língua portuguesa)

Seleção (máximo 4 estrelas)	Escore
1) Representatividade da coorte exposta
a) Verdadeiramente, representativa da (descrever) _______________ média na comunidade	☆
b) Um pouco representativa da _______________ média na comunidade	☆
c) Grupo selecionado de usuários, por exemplo, enfermeiros, voluntários, crianças das escolas X e Y
d) Não há descrição de derivação da coorte
2) Seleção da coorte não exposta
a) Selecionada da mesma comunidade que a coorte exposta	☆
b) Selecionada a partir de uma fonte diferente
c) Não há descrição de derivação da coorte não exposta
3) Determinação da exposição
a) Registro seguro, por exemplo, registros cirúrgicos	☆
b) Entrevistas estruturadas	☆
c) Autorrelato escrito
d) Sem descrição
4) Demonstração de que o desfecho de interesse não estava presente no início do estudo
a) Sim	☆
b) Não
Comparabilidade (máximo 2 estrelas)	Escore
1) Comparabilidade da coorte baseada no desfecho ou análise
a) Controles do estudo para _______________ (selecione o fator mais importante)	☆
b) Controle do estudo para qualquer fator adicional (este critério pode ser modificado para indicar controle específico para um segundo fator importante)	☆
Desfecho (máximo 3 estrelas)	Escore
1) Determinação do desfecho
a) Avaliação cega independente	☆
b) Vinculação de registros*	☆
c) Autorrelato
d) Sem descrição
2) O seguimento foi longo o suficiente para a ocorrência dos desfechos?
a) Sim (escolha um período de seguimento adequado para o desfecho de interesse)	☆
b) Não
3) Adequação do seguimento das coortes
a) Seguimento completo – todos os indivíduos considerados	☆
b) Perdas de seguimento com improvável introdução de viés – pequeno número perdido – > ____% (selecione um % adequado) de seguimento, ou de descrição fornecida daqueles perdidos	☆
c) Taxa de seguimento < ____% (selecione um % adequado) e sem descrição das perdas
d) Nenhuma declaração

* Correspondência de dados, ou seja, a possibilidade de localizar registros em um conjunto de dados que se refere ao mesmo paciente em diferentes fontes de dados (por exemplo, arquivos de dados, livros de registro, planilhas, sites e bancos de dados).¹¹

Nota: Um estudo pode ser premiado com, no máximo, uma estrela para cada item numerado dentro das categorias Seleção e Desfecho. Um máximo de duas estrelas pode ser dado para cada item da categoria Comparabilidade.¹²

Fonte: adaptado de Brasil.¹²

2.2. Orientação para uso da ferramenta em estudos caso-controle

A NOS resulta em uma pontuação mais alta quando controles de base populacional são adotados em relação a controles provenientes de hospitais, por exemplo (Quadro 2). A NOS também atribui uma pontuação mais elevada aos estudos que tiveram avaliação cega da exposição. O cegamento, às vezes, é impraticável, pois o status de caso ou controle pode ser facilmente discernido devido aos sinais visuais ou acústicos da doença (por exemplo, pacientes com câncer de laringe ou faringe com rouquidão ou fala confusa; pacientes com perda de um olho devido à enucleação de um melanoma uveal). Portanto, é importante realizar entrevistas padronizadas aplicadas por pessoal treinado e monitorado regularmente durante todo o estudo.

Ademais, a NOS atribui pontuação mais alta para estudos caso-controle com taxa de não resposta comparável entre casos e controles, em comparação com estudos caso-controle com diferentes proporções de resposta. Esse item está em conflito com o conceito de seleção válida, pois as proporções de resposta devem ser idênticas pelo status de exposição dentro de subgrupos de casos e controles, a fim de minimizar o viés de não resposta.^10,13

Quadro 2. Ferramenta Newcastle-Ottawa Scale (NOS) para avaliação da qualidade metodológica de estudos caso-controle (em tradução livre para a língua portuguesa)

Seleção (máximo 4 estrelas)	Escore
1) A definição de caso é adequada?
a) Sim, com validação independente	☆
b) Sim, por exemplo, vinculação de registros* ou baseada em autorrelato
c) Sem descrição
2) Representatividade dos casos
a) Série de casos consecutiva ou obviamente representativa	☆
b) Potencial para vieses de seleção ou não declarado
3) Seleção dos controles
a) Controles provenientes da comunidade	☆
b) Controles provenientes do hospital
c) Sem descrição
4) Definição dos controles
a) Sem história de doenças (desfecho)	☆
b) Sem descrição da fonte
Comparabilidade (máximo 2 estrelas)	Escore
1) Comparabilidade de casos e controles baseados no desenho ou na análise
a) Controles do estudo para _______________ (selecione o fator mais importante)	☆
b) Controles do estudo para qualquer fator adicional (selecione o fator mais importante) este critério pode ser modificado para indicar controle específico para um segundo fator importante)	☆
Exposição (máximo 3 estrelas)	Escore
1) Determinação da exposição
a) Registro seguro (por exemplo, registros cirúrgicos)	☆
b) Entrevista estruturada, onde o status caso/controle é cego/mascarado	☆
c) Entrevista aberta para o status caso/controle
d) Autorrelato escrito ou registro médico apenas
e) Sem descrição
2) Mesmo método de determinação para casos e controles
a) Sim	☆
b) Não
3) Taxa de não resposta
a) Mesma taxa para ambos os grupos	☆
b) Não respondedores descritos
c) Taxa diferente e sem designação

* Correspondência de dados, ou seja, a possibilidade de localizar registros em um conjunto de dados que se refere ao mesmo paciente em diferentes fontes de dados (por exemplo, arquivos de dados, livros de registro, planilhas, sites e bancos de dados).¹¹

Nota: Um estudo pode ser premiado com, no máximo, uma estrela para cada item numerado dentro das categorias Seleção e Exposição. Um máximo de duas estrelas pode ser dado para cada item da categoria Comparabilidade.¹²

Fonte: adaptado de Brasil.¹²

Quadro 3. Ferramentas originais de avaliação da qualidade metodológica para estudos de coorte (A) e caso-controle (B) pela Newcastle-Ottawa Scale (NOS):

(A) NEWCASTLE – OTTAWA QUALITY ASSESSMENT SCALE – COHORT STUDIES Note: A study can be awarded a maximum of one star for each numbered item within the Selection and Outcome categories. A maximum of two stars can be given for Comparability Selection 1) Representativeness of the exposed cohort a) truly representative of the average _______________ (describe) in the community ★★ b) somewhat representative of the average ______________ in the community ★ c) selected group of users eg nurses, volunteers d) no description of the derivation of the cohort 2) Selection of the non exposed cohort a) drawn from the same community as the exposed cohort ★ b) drawn from a different source c) no description of the derivation of the non exposed cohort 3) Ascertainment of exposure a) secure record (eg surgical records) ★ b) structured interview ★ c) written self report d) no description 4) Demonstration that outcome of interest was not present at start of study a) yes ★ b) no  Comparability 1) Comparability of cohorts on the basis of the design or analysis a) study controls for _____________ (select the most important factor) ★ b) study controls for any additional factor ★ (This criteria could be modified to indicate specific control for a second important factor.)  Outcome 1) Assessment of outcome a) independent blind assessment ★ b) record linkage ★ c) self-report d) no description 2) Was follow-up long enough for outcomes to occur a) yes (select an adequate follow up period for outcome of interest) ★ b) no 3) Adequacy of follow up of cohorts a) complete follow up – all subjects accounted for ★ b) subjects lost to follow up unlikely to introduce bias – small number lost – > ____ % (select an adequate %) follow up, or description provided of those lost) ★ c) follow up rate < ____% (select an adequate %) and no description of those lost d) no statement (B) NEWCASTLE – OTTAWA QUALITY ASSESSMENT SCALE – CASE CONTROL STUDIES Note: A study can be awarded a maximum of one star for each numbered item within the Selection and Exposure categories. A maximum of two stars can be given for Comparability. Selection 1) Is the case definition adequate? a) yes, with independent validation ★ b) yes, eg record linkage or based on self-reports c) no description 2) Representativeness of the cases a) consecutive or obviously representative series of cases ★ b) potential for selection biases or not stated 3) Selection of Controls a) community controls ★ b) hospital controls c) no description 4) Definition of Controls a) no history of disease (endpoint) ★ b) no description of source  Comparability 1) Comparability of cases and controls on the basis of the design or analysis a) study controls for _______________ (Select the most important factor.) ★ b) study controls for any additional factor ★ (This criteria could be modified to indicate specific control for a second important factor.) Exposure 1) Ascertainment of exposure a) secure record (eg surgical records) ★ b) structured interview where blind to case/control status ★ c) interview not blinded to case/control status d) written self report or medical record only e) no description 2) Same method of ascertainment for cases and controls a) yes ★ b) no 3) Non-Response rate a) same rate for both groups ★ b) non respondents described c) rate different and no designation

Fonte: adaptado de Wells et al.⁴

2.3. Adaptação para uso da ferramenta NOS em estudos transversais

Algumas adaptações da ferramenta NOS para avaliação da qualidade metodológica em estudos transversais foram publicadas.^14,15 Entretanto, não se tratam de versões propostas pelos desenvolvedores da ferramenta, nem validadas. Idealmente, deve-se dar preferência a ferramentas validadas e desenvolvidas especificamente para o desenho de estudo desejado, evitando adaptações. Um checklist validado para estudos transversais pode ser encontrado no Capítulo 14 deste livro.

3. Interpretação

A ferramenta NOS contém oito itens para avaliação da qualidade metodológica de estudos de coorte e caso-controle organizados em três dimensões, incluindo: seleção, comparabilidade e desfecho ou exposição, dependendo do tipo de estudo (considera o desfecho para estudos de coorte e a exposição para caso-controle). Para cada dimensão, itens com diferentes opções de respostas são fornecidos, sendo que respostas indicativas de alta qualidade metodológica atribuem estrelas. A dimensão seleção apresenta quatro itens e a exposição/desfecho três, que podem receber, no máximo, uma estrela cada um. Já a dimensão comparabilidade tem apenas um item e pode receber até duas estrelas.⁴

Esse sistema de estrelas (variando entre zero e nove, tanto para estudos de coorte quanto caso-controle) é usado para permitir uma avaliação semiquantitativa da qualidade metodológica do estudo, de forma que estudos com melhor qualidade metodológica somam mais estrelas.⁴

Após o processo de avaliação da qualidade metodológica, é possível classificar a qualidade geral de cada estudo incluído como “Boa”, “Razoável” ou “Ruim” (Good, Fair or Poor), de acordo com o número de estrelas atribuídas. Sharmin et al.¹⁶ sugeriram que uma pontuação para qualidade “Boa” (Good) exige três ou quatro estrelas na dimensão seleção (selection), uma ou duas na dimensão comparabilidade (comparability) e duas ou três estrelas na dimensão exposição/desfecho (exposure/outcomes). Já a pontuação de qualidade “Razoável” (Fair) exige duas estrelas na dimensão seleção (selection), uma ou duas em comparabilidade (comparability) e duas ou três estrelas em exposição/desfecho (exposure/outcomes). Enquanto a pontuação de qualidade “Ruim” (Poor) reflete em zero ou uma estrela na dimensão seleção (selection), ou zero estrela em comparabilidade (comparability), zero ou uma estrela na dimensão exposição/desfecho (exposure/outcomes).

Pontos de corte também foram sugeridos na literatura. Veronese et al.¹⁷ sugeriram que estudos com menos de cinco estrelas podem ser classificados com qualidade metodológica “Ruim”. Já McPheeters et al.¹⁸ propuseram que uma pontuação NOS de sete estrelas ou mais pode ser considerada de qualidade “Boa”. Ressalta-se que a categorização por número de estrelas, assim como o uso de pontos de corte não foram sugeridos ou endossados pelos desenvolvedores da ferramenta, embora a quantificação dos resultados tenha sido prevista.

 4. Apresentação dos resultados

Os resultados da análise da qualidade metodológica com o uso da ferramenta NOS podem ser apresentados de maneira descritiva, no texto do artigo, ou na forma de tabela ou figura, na seção de resultados. É importante destacar que, até o presente momento, não há uma recomendação única dos desenvolvedores da ferramenta NOS para apresentação dos resultados. Seguem sugestões de apresentação tabular (Tabela 1) e gráficas (Figura 1) dos resultados da aplicação da NOS.

Quadro 4. Exemplo de apresentação de resultados de análise da qualidade metodológica para cada estudo incluído com a ferramenta NOS

Studies	Items
	Selection				Comparability	Exposure			Score
	1	2	3	4	1	1	2	3
Benoliel et al.	*	*	*	*	*	–	*	–	6/9
Dubrovsky et al.	*	–	*	*	**	–	–	–	5/9
Park and Chung	*	*	–	*	**	–	–	–	5/9
Rener-Sitar et al.	*	*	*	*	*	–	–	–	5/9
Ribeiro Dasilva et al.	*	–	–	*	**	–	–	–	5/9
Schmitter et al.	*	*	*	*	*	–	*	–	6/9
Selaimen et al.	*	*	–	*	**	–	*	–	6/9
Sener and Guler	*	*	*	*	**	–	–	–	6/9

Fonte: adaptado de Dreweck et al.¹⁹

Figura 1: Exemplo de apresentação gráfica de resultados da avaliação da qualidade metodológica com a ferramenta NOS para cada estudo incluído, em gráfico de floresta de meta-análise

Fonte: extraído de Kapadia et al.²⁰

5. Considerações finais

A avaliação da ferramenta NOS se encontra em curso, mas sua validade de conteúdo e confiabilidade entre avaliadores já foram estabelecidas na literatura.⁴ A validade de critério e confiabilidade intraexaminador da NOS está sendo avaliada por pesquisadores. Ainda, Well et al.⁴ informam que se formula um plano para avaliar a validade do construto levando em consideração a relação teórica da NOS com os critérios externos e a estrutura interna dos seus componentes.

 

Referências 

1. Mueller M, D’Addario M, Egger M, Cevallos M, Dekkers O, Mugglin C, et al. Methods to systematically review and meta-analyse observational studies: a systematic scoping review of recommendations. BMC Med Res Methodol [Internet]. 2018 May [cited 2021 Aug 05];18(1):1-18. Available from: https://doi.org/10.1186/s12874-018-0495-9
2. Stroup DF, Berlin JA, Morton SC, Olkin I, Williamson GD, Rennie D, et al. Meta-analysis of observational studies in epidemiology: a proposal for reporting. JAMA [Internet]. 2000 Apr [cited 2021 Aug 05];283(15):2008-12. Available from: https://doi.org/10.1001/jama.283.15.2008
3. Sterne J, Higgins J, Reeves B, Savović J, Turner L. Review of the development of the risk of bias tool for nonrandomised studies for interventions – ROBINS-I. Cochrane Scientific Committee Recommendation statement/report [Internet]. London: Cochrane; 2017. [cited 2021 Aug 05]. Available from: https://methods.cochrane.org/sites/default/files/public/uploads/scientific_committee_statement_report_robins_i_fin.pdf
4. Wells GA, Shea B, O’Connell Da, Peterson J, Welch V, Losos M, et al. The Newcastle-Ottawa Scale (NOS) for assessing the quality of nonrandomised studies in meta-analyses [Internet]. Oxford: The Ottawa Hospital Research Institute; 2000. [cited 2021 Aug 04]. Available from:  http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp
5. Honório HM, Santiago Junior JF. Peralta-Mamani M. Análise qualitativa da revisão sistemática. In: Honório HM, Santiago Junior JF. Fundamentos das revisões sistemáticas em odontologia. São Paulo: Quintessence Editora; 2019, p. 205-31.
6. Doll R, Peto R, Boreham J, Sutherland I. Smoking and dementia in male British doctors: prospective study. BMJ [Internet]. 2000 Apr [cited 2021 Aug 05];320(7242):1097-102. Available from: https://doi.org/10.1136/bmj.320.7242.1097
7. Lotufo PA, Chae CU, Ajani UA, Hennekens CH, Manson JE. Male pattern baldness and coronary heart disease: the Physicians’ Health Study. Arch Intern Med [Internet]. 2000 Jan [cited 2021 Aug 05];160(2):165-71. Available from: https://doi.org/10.1001/archinte.160.2.165
8. Crous-Bou M, Fung TT, Prescott J, Julin B, Du M, Sun Q, et al. Mediterranean diet and telomere length in Nurses’ Health Study: population based cohort study. BMJ [Internet]. 2014 Dec [cited 2021 Aug 04];349:g6674. Available from: https://doi.org/10.1136/bmj.g6674
9. Schnabel RB, Sullivan LM, Levy D, Pencina MJ, Massaro JM, D’Agostino Sr RB, et al. Development of a risk score for atrial fibrillation (Framingham Heart Study): a community-based cohort study. Lancet [Internet]. 2009 Feb [cited 2021 Aug 05];373(9665):739-45. Available from: https://doi.org/10.1016/s0140-6736(09)60443-8
10. Stang A. Critical evaluation of the Newcastle-Ottawa scale for the assessment of the quality of nonrandomized studies in meta-analyses. Eur J Epidemiol [Internet]. 2010 Sep [cited 2021 Aug 05];25(9):603-5. Available from:https://doi.org/10.1007/s10654-010-9491-z
11. Wortman JH, Reiter JP. Simultaneous record linkage and causal inference with propensity score subclassification. Stat Med [Internet]. 2018 Oct 30 [cited 2021 Aug 26];37(24):3533-3546. doi: 10.1002/sim.7911.
12. Ministério da Saúde. Diretrizes metodológicas: elaboração de revisão sistemática e metanálise de estudos observacionais comparativos sobre fatores de risco e prognóstico [Internet]. Brasília (DF): O Ministério; 2014 [cited 2021 Aug 05]. 132 p. Available from: https://bvsms.saude.gov.br/bvs/ct/PDF/diretrizes_metodologias_estudos_observacionais.pdf
13. Gefeller O, Pfahlberg A, Brenner H, Windeler J. An empirical investigation on matching in published case-control Eur J Epidemiol [Internet]. 1998 Jun [cited 2021 Aug 05];14(4):321-5. Available from: https://doi.org/10.1023/a:1007497104800
14. Schuelter-Trevisol F, H Wolff F, R Alencastro P, Grigoletti S, L Ikeda M, BM Brandao A, et al. Physical activity: do patients infected with HIV practice? How much? A systematic review. Curr HIV Res [Internet]. 2012 Sep [cited 2021 Aug 05];10(6):487-97. Available from: https://doi.org/10.2174/157016212802429794
15. Patra J, Bhatia M, Suraweera W, Morris SK, Patra C, Gupta PC, et al. Exposure to second-hand smoke and the risk of tuberculosis in children and adults: a systematic review and meta-analysis of 18 observational studies. PLoS Med [Internet]. 2015 Jun [cited 2021 Aug 05];12(6):e1001835. Available from: https://doi.org/10.1371/journal.pmed.1001835
16. Sharmin S, Kypri K, Khanam M, Wadolowski M, Bruno R, Mattick RP. Parental supply of alcohol in childhood and risky drinking in adolescence: systematic review and meta-analysis. Int J Environ Res Public Health [Internet]. 2017 Mar [cited 2021 Aug 05];14(3):287. Available from: https://doi.org/10.3390/ijerph14030287
17. Veronese N, Luchini C, Nottegar A, Kaneko T, Sergi G, Manzato E, et al. Prognostic impact of extra‐nodal extension in thyroid cancer: A meta‐analysis. J Surg Oncol [Internet]. 2015 Dec [cited 2021 Aug 05];112(8):828-33. Available from: https://doi.org/10.1002/jso.24070
18. McPheeters ML, Kripalani S, Peterson NB, et al. Quality improvement interventions to address health disparities: closing the quality gap – revisiting the state of the science. 2012. In: Database of Abstracts of Reviews of Effects (DARE): Quality-assessed Reviews [Internet]. York (UK): Centre for Reviews and Dissemination (UK); 1995-. Available from: https://www.ncbi.nlm.nih.gov/books/NBK117083/
19. Dreweck FDS, Soares S, Duarte J, Conti PCR, De Luca Canto G, Luis Porporatti A. Association between painful temporomandibular disorders and sleep quality: A systematic review. J Oral Rehabil [Internet]. 2020 Ago [cited 2021 Aug 05];47(8):1041-51. Available from: https://doi.org/10.1111/joor.12993
20. Kapadia MZ, Park CK, Beyene J, Giglia L, Maxwell C, McDonald SD. Weight loss instead of weight gain within the guidelines in obese women during pregnancy: a systematic review and meta-analyses of maternal and infant outcomes. PloS One [Internet]. 2015 Jul [cited 2021 Aug 05];10(7):e0132650. Available from: https://doi.org/10.1371/journal.pone.0132650