Preprints são um problema? Cinco formas de melhorar a qualidade e credibilidade dos preprints

A pesquisa se tornou o condutor dominante das decisões de política de saúde durante a pandemia de COVID-19. Ela nos guiou para dentro e para fora dos bloqueios. Isso nos ajudou a entender o novo patógeno e desenvolver métodos para contornar seu impacto por meio de tratamento, mudança de comportamento e talvez, em breve, com uma vacina. A pesquisa pode e claramente salvou vidas. No entanto, a pesquisa sobre esta pandemia também desinformou os formuladores de políticas e uma parte desta desinformação veio dos preprints.

O que são preprints?

Preprints são relatos de pesquisa que ainda não passaram por avaliação por pares nem aceitos para publicação em um periódico científico. Estes relatos de pesquisa, compartilhados por meio de servidores de preprints, permitem que os pesquisadores compartilhem rapidamente seus resultados. Permitindo que as comunicações acadêmicas sejam compartilhadas de forma rápida e livre, além de servir também para reivindicar prioridade. A publicação de relatos de pesquisa em servidores de preprint também significa que feedback útil pode ser obtido mais rapidamente e pode promover colaborações entre pesquisadores.

Embora os primeiros servidores de preprint tenham várias décadas, durante os últimos cinco anos mais de 30 novos servidores de preprint surgiram, como resultado de terem sido fortemente promovidos no movimento da ciência aberta. Isso se acelerou ainda mais durante a pandemia de COVID-19. Apenas nos últimos meses, o servidor de preprints em biomedicina, MedRXiv, teve um aumento de 400% nos número de preprints publicados, em comparação com o mesmo período de 2019. Embora isso signifique que a pesquisa está sendo produzida e compartilhada em uma velocidade cada vez maior, pode também ser prejudicial se essa pesquisa não for conduzida nos mais altos padrões de qualidade

Preprints são uma fonte confiável?

Durante a pandemia em curso, vimos os preprints ganharem rapidamente a atenção da mídia e chegar ao topo das tabelas de altmetrias. Alguns dos preprints mais notáveis incluem um estudo vinculando HIV e COVID-19. Os autores, no entanto, rapidamente retrataram o estudo dois dias depois de receber uma forte reação contrária da comunidade científica. Outro estudo sobre a soro-prevalência no condado de Santa Clara, nos EUA, foi revisado por seus autores menos de duas semanas depois de ter sido publicado, como resultado de críticas substanciais a seus métodos e o uso indevido de implicações políticas potenciais para alimentar certas agendas políticas.

Alguns pesquisadores sentem que a crítica rápida e aberta dos pares que estes preprints receberam na ausência de uma revisão formal por pares pode ser considerada um mecanismo de autocorreção dos preprints. No entanto, atualmente não sabemos quão extensivamente os preprints são examinados e se o “mecanismo de autocorreção” que vimos com os preprints de COVID-19 é uma exceção. Também não se sabe com que frequência os autores de preprints abordam os feedbacks que recebem. O maior e mais antigo servidor de preprints, o arXiv não tem uma seção de comentários moderada, enquanto o bioRxiv e medRxiv moderam suas seções de comentários para evitar comentários ofensivos e não pertinentes. Até agora, a maioria dos comentários e análises de preprints parecem acontecer no Twitter, especialmente para preprints sobre COVID-19. Até agora, apenas cerca de 10% de todos os preprints recebem comentários. Portanto, esse recurso ainda é subutilizado.

Seriam, então, os preprints em geral uma fonte confiável de informação se não forem submetidos a alguma forma de avaliação por pares? Acreditamos que sim. A pequena quantidade de estudos voltados para o tema parece indicar que cerca de 70% dos preprints acabam sendo publicados em periódicos científicos, havendo apenas diferenças mínimas entre o preprint e sua versão publicada. No entanto, a pesquisa, independentemente de ser uma publicação em periódico ou se compartilhada por servidores de preprint, tem e deve sempre aderir aos mais altos padrões de rigor metodológico e integridade de pesquisa, a fim de minimizar o risco de desinformar colegas pesquisadores, formuladores de políticas públicas e o público em geral. A implicação é que, na ausência de avaliação formal por pares, tanto os servidores quanto os autores de preprints devem aderir à práticas de pesquisa responsáveis ao publicar em preprints.

Cinco maneiras de promover práticas responsáveis de preprints

Para ajudar a garantir que os preprints sejam uma fonte confiável de informação, propomos várias maneiras pelas quais os servidores de preprints e os autores de preprints podem proteger a credibilidade de seus preprints, uma vez que alguns servidores já incorporam algumas de nossas recomendações. Estas recomendações foram coletadas com base na experiência de pesquisa dos autores de preprints e modalidades de ciência aberta.

A seguir destacamos cinco recomendações principais que consideramos as mais práticas e concretas para melhorar a qualidade dos preprints. Uma lista completa de recomendações está disponível no Open Science Framework (OSF).

Para os servidores de preprints

  1. Fornecer orientaççioes claras aos autores sobre como conduzir, relatar, compartilhar e atualizar seus preprints (e conjuntos de dados).
  2. Vincular por meio de links preprints a versões de relatos de pesquisa (por exemplo, fornecendo referências ou links) e indicar claramente quando um preprint representa uma versão enviada ou publicada de um relato de pesquisa.

Para autores de preprints

  1. Aplique as mesmas práticas de pesquisa responsável à publicação de preprints como aplicariam à publicação em periódico. Se o impacto potencial dos resultados exigir uma publicação rápida, indique claramente que os resultados são preliminares, quando o relato final do estudo e os métodos detalhados estarão disponíveis.
  2. Incorpore o espírito das normas mertonianas de comunalidade e ceticismo desorganizado, sendo um avaliador ativo de preprints em sua área de especialização. Esforce-se para fornecer a quantidade mínima de avaliações de preprints quanto você espera receber de outras pessoas.
  3. Ao comunicar-se com a mídia sobre seus preprints ou criticar os preprints de outros autores, faça-o com responsabilidade. Seja explícito sobre os pontos fortes e as limitações de seus preprints.

Conclusão

Na atual pandemia, não há dúvida de que enfrentamos vários desafios que podem comprometer o rigor metodológico e a integridade da pesquisa que está sendo divulgada. O número crescente de preprints e seu uso na formulação de políticas de saúde pública tornam as melhorias em sua qualidade urgentes e importantes. Esta é uma responsabilidade conjunta de todas as partes interessadas do sistema científico. Neste informe, descrevemos algumas etapas implementáveis que acreditamos podem ser eficazes na melhoria da qualidade e credibilidade de preprints.

Fonte: Texto de Joeri Tijdink, Mario Malicki, Gowri Gopalakrishna e Lex Bouter no Blog Scielo em Perspectiva [Publicado originalmente no LSE Impact Blog em setembro/2020]