No final do ano passado, a revista Chemistry World, editada pela Royal Society of Chemistry, do Reino Unido, decidiu parar de publicar um ranking on-line que era sucesso entre os leitores. Tratava-se da lista, atualizada algumas vezes por ano, com mais de 500 pesquisadores altamente produtivos na área de química, aqueles que ostentam no currículo um índice-h maior que 55.

A decisão de suspender o ranking foi uma capitulação às críticas de que ele dava ênfase demasiada a um simples indicador de desempenho, sem levar em conta outros aspectos da produção científica, e poderia induzir universidades e agências de fomento a tomar decisões simplistas ou equivocadas.

O primeiro do ranking da Chemistry World era George Whitesides, da Universidade Harvard, com índice-h 169. Equivale a dizer que ele publicou pelo menos 169 artigos que obtiveram, cada um, ao menos 169 citações em outros trabalhos. Para ter um índice-h elevado, é preciso publicar artigos que repercutam na comunidade científica. Se um pesquisador publica muito, mas é pouco citado, ou se recebe muitas citações, mas num número restrito de artigos que publicou, terá um índice-h baixo.

O episódio da Chemistry World é revelador das vantagens e mazelas do índice-h, uma medida que ganhou aplicação generalizada por seus méritos – é fácil de calcular, baseia-se em critérios objetivos e resume num único número a produtividade e a relevância do trabalho de um pesquisador. Simultaneamente, seu uso tornou-se alvo de críticas por não levar em conta suas limitações. O próprio Jorge Hirsch admite um problema importante. “Deve-se sempre ter em mente que pesquisas fora domainstream podem ser pouco citadas e subavaliadas por indicadores bibliométricos e merecem ser apoiadas financeiramente apesar disso”, afirmou à revista on-line Research Trends. “Um indicador bibliométrico deve ser sempre usado ao lado de outros indicadores, e com bom senso.”

Não se pode usar o índice-h para comparar pesquisadores em estágios diferentes da carreira – um pesquisador sênior com índice-h 100 na área de química pode orgulhar-se de ser extremamente produtivo, assim como um pesquisador jovem da mesma área que tenha um índice-h 30. Também é equivocado comparar o desempenho de pesquisadores de áreas diferentes.

“Cada área tem um tamanho peculiar e tendências diferentes de citação”, explica Rogério Meneghini, coordenador científico da biblioteca SciELO Brasil. “Em bioquímica, por exemplo, há um número enorme de pesquisadores. Logo há mais artigos e mais gente citando. A regra é você trabalhar com as subáreas quando faz comparações”, afirma Meneghini, para quem, contudo, o índice-h é uma ferramenta valiosa, sobretudo nas ciências naturais. “Um índice-h elevado nessas áreas é um sinal de que o pesquisador fez coisas de impacto”, afirma.

Já em muitas disciplinas das humanidades a divulgação de resultados de pesquisa por meio de livros é tão importante quanto sua divulgação por meio de artigos em revistas indexadas, de modo que nelas o índice-h frequentemente diz pouco sobre o impacto real do trabalho de um pesquisador. “Nas humanidades, um índice numérico de avaliação de impacto é certamente algo a ser levado em conta, mas como um dos elementos de avaliação, entre outros. Desacompanhado de elementos de avaliação de natureza qualitativa, será só um número”, afirma Luiz Henrique Lopes dos Santos, coordenador adjunto de Ciências Humanas e Sociais da FAPESP. “Além disso, o impacto de uma publicação não se mede apenas por citações, mas também por muitas outras coisas, como sua contribuição para inovações tecnológicas ou para a formulação de políticas públicas, por exemplo.”