Um estudo inédito no país, resultado de um esforço colaborativo de 213 pesquisadores que conduziram 143 réplicas de experimentos descritos em artigos científicos já publicados, chegou a uma conclusão não totalmente inesperada, mas não por isso menos chocante: apenas 21% da pesquisa biomédica no Brasil foi considerada reprodutível.
Esse número corresponde a uma análise que combina diferentes critérios estatísticos e subjetivos de avaliação, considerando como replicado um experimento que atende ao menos metade deles. A depender de se adotar um critério mais estrito ou frouxo, pode-se dizer que a reprodutibilidade inferida ficou entre 15% e 45%.
O estudo, disponibilizado neste mês na forma de preprint (ainda não revisado por pares, porém com todos os dados, protocolos e análises disponíveis em repositórios abertos), nasce a partir de um esforço da Iniciativa Brasileira de Reprodutibilidade, que recebeu apoio de R$ 1 milhão do Instituto Serrapilheira, e é fruto da crescente preocupação global com a reprodutibilidade da pesquisa científica. Também houve recursos da Faperj e do CNPq. No Brasil, apesar da expansão da pesquisa biomédica nas últimas décadas, não havia uma avaliação mais sistemática da replicabilidade de seus resultados.
Um total de 143 replicações de 56 experimentos foram realizadas, das quais 96 replicações de 47 experimentos foram consideradas válidas. A seleção dos experimentos originais buscou representatividade na ciência biomédica brasileira publicada entre 1998 e 2017.
A dificuldade em reproduzir resultados não necessariamente indica erro ou má conduta, mas pode refletir limitações no desenho dos experimentos, na documentação de métodos ou na própria variabilidade entre laboratórios. Os autores destacam que o objetivo do trabalho não é desqualificar a ciência nacional, e sim jogar luz sobre uma realidade pouco discutida, com o intuito de aprimorar práticas e orientar políticas científicas.
A gente consegue fazer aviões decolarem, enfrentarem condições imprevisíveis e pousarem com sucesso 99,9999% das vezes. Isso só é possível porque existe um sistema altamente estruturado, com muitas camadas de controle, checklist, copilotos e protocolos
“A partir dessa fotografia nacional, a gente tem material para conseguir mexer aqui dentro —seja em políticas públicas, seja dentro das universidades, com disciplinas que focam a qualidade metodológica da pesquisa. É um problema mundial, mas agora a gente tem um retrato do Brasil, pelo menos para a ciência biomédica básica”, avalia Mariana Abreu, professora do Instituto de Biofísica da UFRJ (Universidade Federal do Rio de Janeiro) e uma das coordenadoras do estudo.
Cristina Caldas, diretora científica do Serrapilheira, diz que a motivação para o apoio ao projeto partiu da ideia de criar um índice nacional de reprodutibilidade aliada à mobilização de um grupo de pessoas que são estimuladas e valorizadas por aperfeiçoar a forma de se fazer ciência no país.
“Dentro do sistema de fomento existe muito pouco apoio a projetos que olhem para o quão reprodutível, quão rigorosa está sendo a ciência, e o que dá para fazer melhor, aprimorar”, afirma. “Se você consegue descobrir os gargalos, como otimizar certos estudos, trabalhar mais em rede, de forma colaborativa e pensando em reprodutibilidade, você otimiza recursos públicos, que é o que todos queremos.”
A expectativa é que agências como CNPq, Fapesp, Faperj e Capes possam, a partir desse retrato, repensar critérios de avaliação e apoio a projetos. A criação de linhas específicas para estudos de replicação, exigência de maior transparência metodológica e incentivos à colaboração entre laboratórios são caminhos possíveis. Garantir que os recursos públicos investidos produzam conhecimento confiável é, segundo os autores, uma questão de responsabilidade coletiva.
Olavo Amaral, neurocientista e professor da UFRJ, que coordenou a iniciativa, avalia que o meio acadêmico ainda privilegia a geração de resultados pretensamente inovadores em detrimento da confirmação rigorosa de achados anteriores, em parte pela escassez de incentivos e oportunidades de financiamento voltadas à replicação.
Para ele, os dados obtidos não têm como objetivo julgar a validade de cada estudo individualmente, e sim estimar o grau de sucesso da ciência brasileira ao tentar reproduzir seus próprios resultados e provocar uma discussão mais ampla sobre a reprodutibilidade no país. Nesse sentido, considera que a principal meta do projeto —reunir um grande grupo de cientistas em torno dessa agenda— foi cumprida.
Amaral compara a elevação da qualidade da pesquisa biomédica ao esforço necessário para tornar a aviação uma atividade de alta confiabilidade. Seria importante investir em auditorias, apostar em estudos multicêntricos e talvez até aumentar o rigor na hora de oferecer fomento.
“A gente consegue fazer aviões decolarem, enfrentarem condições imprevisíveis e pousarem com sucesso 99,9999% das vezes. Isso só é possível porque existe um sistema altamente estruturado, com muitas camadas de controle, checklist, copilotos e protocolos. É um sistema sobre-humano”, explica Amaral, ao comparar com o que ocorre na ciência. “Na pesquisa, muitas vezes o experimento está nas mãos de um bolsista de mestrado ou iniciação científica, sozinho, sem backup, sem checklist, sem copiloto. Se ele errar, não tem um sistema de controle para corrigir.”
