O melhor de dois mundos: qualidade e excelência

Compartilhe

Sempre que você falar com cientistas pesquisadores sobre o que é importante em um periódico, especialmente se você está prestes a submeter um artigo, você ouvirá murmúrios sobre ‘qualidade’. Geralmente eles mencionam ‘fator de impacto’ (a facilidade de contar – alguma coisa, qualquer coisa, faz com que seja tentador inferir qualidade através da quantidade). E eles quase nunca oferecem uma definição credível do que a ‘qualidade’ significa realmente. Nas raras ocasiões em que o fazem, eles parecem ter em mente ‘qualidade científica’. Pelo qual eles aparentemente querem dizer ‘significância científica’. No entanto, ‘significância científica’ é principalmente o que os editores de periódicos e pareceristas – arbitraria e subjetivamente – consideram que um artigo deve ter. Não é uma avaliação objetiva, com critérios claros. Não pode ser. A significância científica normalmente só se manifesta depois de um longo tempo, quando falhas e irreprodutibilidade e outros forem excluídos (a falta de reprodutibilidade é uma questão particularmente problemática). Às vezes, isso leva uma década ou mais. Um artigo pode parecer muito interessante e promissor, mas o seu verdadeiro significado quase que certamente não pode ser estabelecido no momento da publicação. Às vezes, insignificância pode ser estabelecida nesse ponto, mas mesmo quanto a isso, é necessário cautela. O que pode parecer insignificante à primeira vista pode mais tarde vir a ser significativo, ou mesmo altamente significativo. Essa é a natureza da ciência. E mesmo se um artigo seja insignificante por si próprio, se levado em consideração em meta-análises, ele pode adicionar informações que aumentam a precisão dos resultados. Além disso, muitos ‘resultados nulos’ ou ‘resultados negativos’ são muitas vezes vistos como insignificantes, o que é totalmente inapropriado.

A preocupação generalizada com a ‘qualidade’ (ou, como os autores a chamam, ‘excelência’) é realmente prejudicial à ciência, como argumentado em um artigo recente muito interessante e instigante1 no Figshare. É uma leitura obrigatória para qualquer cientista e estudioso, em particular para aqueles que pensam em si próprios como excelentes.

Há, no entanto, elementos de ‘qualidade’ ou ‘excelência’ que podem ser medidos bastante objetivamente. Tais como a clareza e inteligibilidade da linguagem utilizada e ausência de ambiguidade. Ou a abrangência e detalhamento da seção Materiais e Métodos. Ou a clareza de ilustrações e gráficos. Ou a abrangência da lista de referência, com identificação clara e links para os textos completos dos artigos citados, por exemplo, através de DOIs. Ou a aplicação e apresentação de estatísticas adequadas. Ou os dados apresentados embasando adequadamente as conclusões relatadas. Esta é, aproximadamente, a abordagem de ‘qualidade’ de periódicos como PLOS One (e um número crescente de periódicos de acesso aberto que seguem o mesmo conjunto de critérios). Gostaria de acrescentar a isso a abertura do artigo. Afinal, a habilidade de ser compartilhado e reutilizado é altamente benéfica para a ciência e isso é digno de ser considerado um critério de ‘qualidade’.

Mas então há outra categoria de elementos de qualidade. Estes estão relacionados com a qualidade do serviço do publisher. Para os leitores, a abertura e a reutilização são qualidades importantes do serviço de um periódico e do publisher. Para os autores, o serviço que recebem de periódicos e publishers é fundamental. Na publicação de acesso aberto, o serviço aos autores é particularmente importante, uma vez que em muitos casos há uma taxa, denominada taxa de processamento do artigo (article processing charge, APC) para ser publicado após a aceitação através de um procedimento de revisão por pares. Na maior parte das vezes, no entanto, informações sobre o serviço de um periódico e o publisher estão disponíveis apenas informalmente. Um recente esforço para coletar tais informações (afinal, uma coleção de informações são dados), pelo menos de periódicos de acesso aberto, é o Mercado de Qualidade do Acesso Aberto (Qualidade Open Access Market, QOAM). A iniciativa visa reunir informação através de crowd-sourcing sobre os serviços oferecidos por periódicos de acesso aberto, e reunir estas informações em ‘cartões de pontuação’. Eles utilizam dois tipos de cartões de pontuação: ‘cartões de pontuação básicos’, que disponibilizam informação de um periódico em seu website sobre políticas editoriais, revisão por pares, governança e fluxo de trabalho e ‘cartões de pontuação de avaliação’, que cobrem a capacidade de resposta do periódico, valor acrescentado pela avaliação por pares, o seu valor por dinheiro e a satisfação geral percebida pelo autor. O projeto ainda está em seus estágios iniciais, e coletar informação desta natureza por meio decrowd-sourcing é a sua prioridade principal, porém uma vez que uma base de dados razoavelmente abrangente seja criada, seria uma boa fonte de orientação para aqueles que procuram o periódico que melhor se adapte às suas necessidades. E seria uma contraparte positiva para a lista negra orientada negativamente de ‘periódicos predatórios’ mantida por Jeffrey Beall.

Mas vamos voltar à qualidade e excelência. Tendo em conta que a preocupação com estes é prejudicial à ciência (você está certo, eu concordo com os autores deste artigo), não deveríamos reavaliar por completo o papel dos periódicos em todo o processo de comunicação científica? Em um dos meus posts anteriores neste blog2, eu tentei defender a ideia de que a comunicação deve vir em primeiro lugar, e progressão na carreira, mais tarde. Cheguei à conclusão de que o melhor dos dois mundos poderia ser obtido se todos os artigos fossem publicados primeiro em servidores de preprints e depois submetidos a periódicos, a fim de obter as ‘glórias’ necessárias para a gestão da reputação do autor. Toquei neste tema em uma apresentação recente3. Publicar primeiro em um servidor aberto de preprints traz algumas vantagens muito significativas. É rápido e o compartilhamento dos próprios resultados de pesquisa não está sujeito a atrasar devido à avaliação por pares e outros procedimentos de publicação do periódico; isso permite avaliação por pares potencialmente muito mais ampla, aberta e franca por membros da comunidade científica numa dada disciplina, se comparado com a revisão por pares limitada e muitas vezes anônima oferecida pelos periódicos; e há, em geral – pelo menos onde foi analisado – muito pouca diferença substancial entre as versões do preprint e eventualmente as versões formalmente publicadas dos artigos. Preprints podem até satisfazer as exigências de acesso aberto imediato anunciadas pela UE4 recentemente – eu acredito que irão.

Seria realmente o melhor de dois mundos. O fluxo rápido e livre de informação científica seria garantido através de pré-publicações e os publishers também seriam capazes de justificar a cobrança de seus serviços de publicação formal em seus periódicos. Eles não seriam mais simplesmente ‘publishers‘; seu papel não envolveria a disseminação real de conhecimento. Eles seriam ‘fornecedores de emblemas de gestão de reputação’ (ou ‘glórias’, como gosto de chamá-los). Aqueles que claramente são considerados de valor por grandes setores da comunidade científica, e desta forma, a necessidade destas ‘glórias’ não seria um impedimento ao livre fluxo de conhecimento, mas seu complemento.

Fonte: Texto de Jan Velterop para blog Scielo em Perspectiva

15 de julho de 2016

Publicado por Priscila Jacobsen