Reprodutibilidade em resultados de pesquisa

O tema da reprodutibilidade de resultados de pesquisa vem merecendo a
atenção da comunidade científica e da sociedade nos últimos anos. A
premissa de que a ciência corrige a si própria por evoluir com base na
reprodução de estudos anteriores vem sendo posta em dúvida, tendo em
vista o número crescente de evidencias em contrário.

A baixa confiabilidade das pesquisas, entretanto, parece não estar
associada à má conduta científica, mas a questões que incluem
treinamento insuficiente de pessoal técnico e pesquisadores, o incentivo
e premiação por resultados positivos em periódicos de alto impacto, e
ênfase na elaboração de afirmativas ambiciosas, as quais não são
devidamente justificadas pelos resultados. Protocolos experimentais mal
elaborados, baixo número de amostras e testes estatísticos inadequados
já foram apontados como responsáveis pela baixa reprodutibilidade em
pesquisa.
Estas constatações, entre outras, levaram à criação em 2012 da plataforma online Reproducibility Initiative,
ou Iniciativa em Reprodutibilidade, que tem por objetivo facilitar a
comunicação entre pesquisadores e companhias farmacêuticas para validar e
reconhecer resultados reprodutíveis de qualidade sobre testes
pré-clínicos publicados. A plataforma conta com a rede Science Exchange,
que inclui mais de dois mil laboratórios de 400 instituições de
pesquisa que reproduzem os experimentos. As submissões e resultados
obtidos são confidenciais e uma vez completados e confirmados, passam a
contar com o selo “validado independentemente”. Há iniciativas
semelhantes como a Science Check, que estão contribuindo para
validar resultados de pesquisa na área clínica e assegurando que estes
dados suplementares estejam disponíveis em repositórios de acesso
aberto, ao alcance de todos.
Em vista deste cenário preocupante, as questões que se apresentam
são: quem é responsável? Porque está ocorrendo? Como pode ser corrigido?
Os pesquisadores-chefe responsáveis pelos laboratórios compartilham
os louros das descobertas – principalmente quando são coautores das
publicações – e devem igualmente se responsabilizar pela exatidão dos
resultados, sua reprodutibilidade, e o tratamento estatístico dos dados,
mesmo se o trabalho experimental for conduzido por pesquisadores
experientes como pós-doutores. Existem instituições­­, como o
Laboratório de Biologia Molecular em Heidelberg, Alemanha, que limita o
tamanho dos laboratórios para que o pesquisador chefe não tenha um
número de pessoas que não consiga supervisionar adequadamente. Quando
isso não ocorre, deve ser criada uma estrutura hierárquica para melhor
controle dos resultados obtidos.
Do ponto de vista dos periódicos, a disponibilização de comentários
online aberto é de muita utilidade, assim como a apresentação dos dados
fonte a editores e peer reviewers, quando solicitados, bem como incentivar a publicação de resultados negativos.
O campo da psicologia também enfrenta a mesma crise de credibilidade
nos resultados publicados, segundo publicação de Yong. Um estudo
conduzido em 1959 pelo estatístico Theodore Sterling chegou à conclusão
de que 97% dos estudos de psicologia publicados nos quatro principais
periódicos da área reportam resultados positivos estatisticamente
significativos. Quando o autor repetiu o estudo em 1995, obteve o mesmo
resultado. Um dos motivos para explicar o excesso de resultados
positivos em psicologia é que periódicos de alto impacto da área
favorecem a publicação de artigos inovadores, interessantes, chamativos
até, que requerem necessariamente resultados positivos. O anseio dos
autores em obter resultados positivos acaba fazendo com que desenhem os
experimentos – protocolo experimental, número de amostras, e outros
pormenores – de forma que seja difícil, quase impossível, sua reprodução
independente por outro estudo. De acordo com Brian Nosek (apud Yong
2012), um psicólogo social da Universidade da Virgínia, em sua área, “To
show that ‘A’ is true, you don’t do ‘B’. You do ‘A’ again.”¹ Yong
mostra em seu artigo um quadro retirado de Fanelli que mostra a
tendência de publicar resultados positivos em 18 áreas do conhecimento.
As ciências denominadas “duras” (Ciências Espaciais, Geociências,
Física, Ciências da Computação) estão entre as que menos publicam
resultados positivos. As Ciências da Vida, Química e Economia
encontram-se no estágio intermediário e finalmente Psicologia e
Psiquiatria, Medicina Clínica e Ciência dos Materiais estão no topo das
que mais publicam resultados positivos. O autor correlaciona este índice
com a maior falta de reprodutibilidade dos ensaios nestas áreas.
Muitas pesquisas na área clínica utilizam modelos animais para
mimetizar técnicas cirúrgicas, efeito de drogas e outros testes em seres
humanos, antes de conduzir ensaios clínicos em humanos. As razões para o
uso de cobaias é claro e de fato, muitos pacientes se beneficiam de
pesquisas com novos fármacos, porém, há que se melhorar a qualidade dos
experimentos em animais.
Os estudos mais confiáveis com modelos animais de doenças em humanos
são aqueles que utilizam randomização de amostras para eliminar
diferenças sistemáticas entre grupos; conduzir estudo cego, ou seja,
induzir a condição em estudo sem saber se aquele animal receberá a droga
a ser testada; e avaliar os resultados de forma cega também.
Entretanto, o que se observa é que no máximo um em cada três publicações
segue estas regras anti-viés, o que indica que autores, peer-reviewers
e editores lhes atribuem pouca importância. Como foi visto
anteriormente, também aqui o número da amostra influi diretamente na
confiabilidade dos resultados, e são poucos os trabalhos que reportam
cálculos de tamanho da amostra. A tendência em publicar apenas
resultados positivos, que interessam potencialmente a projetos da
indústria farmacêutica, também se faz presente nesta área.
Com a finalidade de melhorar a confiabilidade dos ensaios com animais, foi criada em 2010 a iniciativa ARRIVE – Animal Research: Reporting In Vivo Studies (Pesquisa em animais: Relatando estudos In Vivo) autora de guias de experimentação validadas, entre outros, pelo Nature Publishing Group. Espera-se
que as recém-criadas instruções possam influenciar positivamente os
pesquisadores e mudar a cultura da busca por resultados positivos e
imediatos.
Mais recentemente, os Institutos nacionais de Saúde dos Estados
Unidos (NIH) lançaram medidas para aumentar a reprodutibilidade e a
transparência dos resultados de pesquisa, com ênfase no desenho adequado
dos protocolos de pesquisa. Estes incluem promover o treinamento
obrigatório de pesquisadores da instituição, a produção de guias de boas
práticas de pesquisa a serem disponibilizadas no site dos NIH, a
criação de check lists para assegurar uma avaliação sistemática
das solicitações de financiamento à pesquisa. O NIH também estuda formas
de aumentar a transparecia de dados que constituem a base de
manuscritos enviados para publicação, e a criação de repositórios para
depositar dados primários denominado Data Discovery Index – DDI.
Esta plataforma prevê que se outro autor utilizar os dados primários
obtidos por um pesquisador, ele será citado, criando assim uma nova
métrica de contribuição científica desvinculada de periódicos.
Em dezembro de 2013, o NIH lançou um fórum online de comentários
sobre artigos publicados – o PubMed Commons . Autores que tem
publicações em PubMed podem escrever comentários sobre artigos indexados
nesta base, bem como ter acesso aos comentários dos colegas.
Atualmente, mais de 2 mil autores se inscreveram e postaram mais de 700
comentários.
Sem dúvida, a reprodutibilidade não é um tema que os NIH podem enfrentar sozinhos. A comunidade científica, os publishers,
universidades, associações profissionais, a indústria e a sociedade
como um todo estão sendo convidados a participar deste debate, que tem
por objetivo restaurar a confiabilidade dos resultados de pesquisa.
Segundo os autores do NIH, o ponto mais crucial é a mudança de atitude
no sistema de incentivo acadêmico, que atualmente premia publicações em
periódicos de alto Fator de Impacto para conceder financiamento à
pesquisa e atingir promoções na carreira, apesar das recentes
iniciativas desestimulando esta prática.
O cenário da baixa reprodutibilidade demonstrado nos exemplos acima
confirma a regra não escrita e compartilhada entre pesquisadores
acadêmicos e da indústria de que ao menos 50% dos estudos publicados,
mesmo em periódicos de alto FI não são reprodutíveis por outros
laboratórios, e até no mesmo laboratório, mesmos equipamentos, mesmas
pessoas e mesmos experimentos. Como já mencionado, inúmeros fatores
foram apontados para explicar a baixa confiabilidade dos resultados,
como amostras de tamanho insuficiente, análise estatística incorreta ou
inadequada, a competitividade entre cientistas e instituições por
resultados positivos e inovadores, que leva a confirmar uma hipótese,
mesmo que haja muitos resultados (não publicados) a contradizê-la.
Segundo Prinz, et al editores e peer reviewers não tem
condições de repetir os experimentos e ir a fundo nos resultados
apresentados. Assim, muitos erros não são detectados. Soma-se a isso o
fato de que os trabalhos rejeitados por um periódico acabam publicados
por outros, sem alterações ou melhorias significativas.

Por Ernesto Spinak
Fonte: Scielo em Perspectiva

13 de março de 2014

Publicado por vanessa