Artigo investiga: seu trabalho mais citado é seu melhor trabalho?

Compartilhe
Em post publicado recentemente no blog SciELO em Perspectiva, analisou-se um estudo que propõe uma divisão taxonômica de motivos para citar publicações em artigos científicos. Os autores sugerem que os motivos mais variados que autores têm para citar esta ou aquela publicação podem, independentemente da área do conhecimento, ser agrupados em quatro categorias principais e algumas subcategorias.

Nos últimos anos vem se observando inúmeras críticas quanto à utilização de indicadores de impacto baseados em citações para avaliar pesquisadores, projetos de pesquisa, contratações e promoções na carreira. As limitações do Fator de Impacto são inúmeras e hoje existem métricas alternativas em nível do artigo mais abrangentes e confiáveis que levam em conta medidas de download, compartilhamento em redes sociais e a cobertura na mídia impressa e online.
Entretanto, há cerca de meio século a cienciometria vem utilizando largamente métricas baseadas em citações. O Brasil, cujos periódicos indexados no Journal Citation Reports representam 1% do total deste índice, baseia seu sistema de avaliação da produção científica dos seus programas de pós-graduação principalmente no Fator de Impacto, medido na base Web of Science (Thomson Reuters).
Dois artigos publicados na edição desta semana da Nature abordam citações e o impacto científico. O primeiro deles, da autoria de Richard Van Noorden e colaboradores2, analisa os 100 artigos mais citados de todos os tempos na base Science Citation Index (Web of Science,Thomson Reuters) quanto à sua contribuição à ciência. O número de citações destes 100 artigos varia de 305 mil a 12 mil e sua análise revela que boa parte destes artigos altamente citados refere-se a técnicas biológicas e bioquímicas, sendo que duas delas resultaram em prêmios Nobel. Também estão presente na lista top-100 artigos de bioinformática, filogenética (estudo de relações evolutivas entre espécies), estatística, teoria da densidade funcional (o estudo por meio de software do comportamento dos elétrons de um determinado material, que permite prever suas propriedades), e cristalografia. É digno de nota, entretanto, que um artigo que relata uma verdadeira inovação no conhecimento, talvez a maior do século XX na área de bioquímica, como é o caso da descoberta por Watson e Crick3 da estrutura da dupla hélice do DNA em 1953, que resultou no prêmio Nobel, recebeu relativamente poucas citações – cerca de 5 mil. Outro exemplo é o artigo de Farman, Gardiner e Shanlin4 que relata a descoberta do buraco na camada de ozônio de 1985, que recebeu apenas 1.871 citações.
O segundo artigo, da autoria de John Ioannidis e colaboradores5 relata um estudo que consistiu em entrevistar os autores mais produtivos em ciências biomédicas para relacionar seus dez artigos mais citados em seis modalidades. Com isso, os autores se propuseram a responder a perguntas como: Seriam os artigos mais citados os mais importantes? A ciência progride principalmente através da evolução ou da revolução? Seriam estes processos mutuamente excludentes ou complementares e qual deles é mais refletido por alto índice de citações? Seriam os resultados surpreendentes mais difíceis de publicar? O estudo traz muitas conclusões interessantes, entretanto, ao invés de responder às perguntas, traz ainda mais questionamentos.
A metodologia da pesquisa consiste em enviar aos 400 autores mais citados na área de ciências biomédicas no período de 1996-2011 questionários com perguntas sobre sua visão de seus 10 artigos publicados entre 2005-2008 mais citados, e solicitou-se que os pesquisadores relacionassem estes artigos em seis dimensões, atribuindo-lhes escores entre zero e 100, de acordo com sua influência e impacto. O restrito período de publicação previne o viés de que artigos muito citados e antigos tornam-se estereotipados, e frequentemente são tratados como canônicos, e os trabalhos mais recentes não terem tido tempo de acumular suficientes citações.
Cerca de 1/3 dos pesquisadores – 123 deles – responderam ao questionário, relacionando 1.214 artigos no total. O questionário solicitava aos autores relacionar seus trabalhos em seis categorias: Progresso Contínuo, Interesse Geral e Síntese Relevante – foram catalogados como Medidas de Evolução; as categorias Inovação Turbulenta e Surpresa – foram catalogadas como Medidas de Revolução; Dificuldade de Publicação não foi categorizada em nenhuma das duas, porém mostrou correlação principalmente com medidas de Revolução. Os pesquisadores tenderam a classificar seus artigos mais influentes nas primeiras três categorias e aos artigos com menos citações, as três últimas categorias. Para a maioria deles, os artigos mais influentes foram facilmente publicados, salvo algumas exceções. A média e mediana dos escores autoatribuídos pelos autores situou-se ao redor de 50 para as três primeiras categorias e de 20 a 40 nas três últimas categorias.
Apenas 20 pesquisadores (16%) indicaram que sua publicação mais relevante publicada em 2005-2008 não estava entre seus 10 artigos mais citados. Estes 20 artigos, entretanto, ainda situam-se entre os artigos citados no período. Cinquenta e dois artigos foram avaliados por ao menos dois autores, indicando coautoria. Houve concordância entre a categoria na qual o artigo foi ranqueado pelos dois coautores e no valor do escore apontado por ambos entre 74% a 86% nas seis dimensões, porém há que se levar em conta o tamanho limitado da amostra.
Os autores do estudo esperavam que os artigos fossem autoavaliados como sendo de caráter evolutivo ou revolucionário, porém não ambos. Isso não está totalmente de acordo com os resultados da pesquisa, uma vez que houve forte correlação entre os escores da categoria Interesse Geral e Medidas de Revolução e Evolução.
O estudo apresenta limitações, na visão dos seus autores. Primeiramente, apenas 30% dos autores responderam à pesquisa, e os demais poderiam ter dado escores maiores para Medidas de Revolução ou Evolução. Em segundo lugar, o período limitado da publicação, escolhido para dar uniformidade aos dados. Em terceiro, o fato de que os autores podem avaliar seu próprio trabalho mais positivamente do que outros. Um quarto fator é que a amostra é composta por pesquisadores cujo trabalho já foi amplamente aceito (e citado). Outros pesquisadores com ideias inovadoras que não tenham sido muito bem aceitas não estão incluídos neste grupo. Os autores acreditam que entre trabalhos medianamente citados a marca da evolução seja mais frequente.
A pesquisa reportada por Ioannidis e colaboradores reafirma a riqueza de informação que está contida em análise de citações e o quanto de cienciometria ainda deve ser estudado. Os autores especulam: Como identificar precocemente um artigo inovador? Este tipo de artigo faz conexões entre áreas do conhecimento que não são tipicamente feitas, ou são citados por trabalhos de outras áreas menos afins? Estas e muitas outras questões emergem deste estudo. Segundo seus autores, uma forma de respondê-las seria analisar os trabalhos que citam os artigos mais citados ou avaliar o perfil de artigos medianamente citados. Entretanto, de um fato os autores estão certos: é necessário recorrer a outros índices além das métricas baseadas em citações para complementar a avaliação da ciência.
Texto publicado no blog Scielo em Perspectiva.
2 de dezembro de 2014

Publicado por Priscila Jacobsen