Maior crise da história da Capes é agravada com renúncia coletiva de coordenadores de área e consultores

Pós-graduação | Renúncia de pesquisadores das áreas de Matemática/Probabilidade e Estatística e Astronomia/Física já expunha as discordâncias quanto à Avaliação Quadrienal da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), suspensa pela Justiça em setembro. Nesta quarta (1º), coordenadores e consultores da área de Química publicaram carta aberta deixando os cargos

Uma crise que vem evoluindo desde setembro na Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) chegou ao ápice nesta semana, quando passou para 80 o número de pesquisadores – entre coordenadores de área e consultores – que renunciaram aos seus cargos. Agora, pesquisadores de três áreas – Matemática/Probabilidade e Estatística; Astronomia/Física e Química – que atuavam na avaliação quadrienal deixaram seus postos na Coordenação.

O pedido de renúncia mais recente ocorreu na quarta-feira, 1º de dezembro, quando 28 pesquisadores da Química pediram, em carta aberta, afastamento dos seus cargos – inclusive, o coordenador da área e professor da UFRGS Adriano Monteiro, que representava 75 programas de pós-graduação do país. “Estamos na coordenação da área de Química nos últimos oito anos, mas muito mais tempo se contarmos toda a atuação como consultores. Passamos por vários governos, vários presidentes e diretores de avaliação. Nem sempre foi fácil, mas sempre tivemos pleno apoio e muito diálogo para que pudéssemos discutir e aprender muito, especialmente no tocante às particularidades de cada área, que devem ser ouvidas e respeitadas, mas sem nunca perder o foco do Sistema Nacional de Pós-Graduação como um todo”, diz parte do documento de renúncia.

No decorrer da semana, 52 pesquisadores das outras duas áreas já haviam deixado suas funções devido às divergências quanto à Avaliação Quadrienal em andamento (2017-2020): 31 da Matemática/Probabilidade e Estatística e 21 da Astronomia/Física. Eles afirmam ser quase impossível retomar a avaliação num futuro próximo. “Chama-nos a atenção que a recente tentativa de suspensão da liminar tenha sido apresentada pela Capes sem qualquer urgência, apenas depois de dois meses. Esta, inclusive, foi uma das justificativas para o indeferimento do efeito suspensivo”, justificam os signatários do documento da área de Matemática/Probabilidade e Estatística.

A conjuntura do momento se dá porque a Justiça Federal do Rio determinou a suspensão da Avaliação Quadrienal 2017-2020 de cursos de pós-graduação no dia 22 de setembro (confira a liminar na íntegra) a partir de ação civil pública do Ministério Público Federal (MPF) que questiona os critérios definidos e modificados no último período avaliativo, aplicados retroativamente. Conforme o MPF, os critérios adotados pela Capes referentes ao ranqueamento dos programas de mestrado e doutorado e as normas utilizadas para concessão de bolsas e incentivos têm possíveis impactos no patrimônio público e na distribuição impessoal de recursos federais de fomento à educação e à pesquisa.

Desde 1976, quando o sistema de Avaliação da Pós-Graduação da Capes foi implantado, nada comparado à atual crise aconteceu ao longo dessas décadas. A Capes já passou por crises institucionais e financeiras, até foi fechada por alguns meses no governo Collor de Melo, recorda o coordenador da área de Ciências Agrárias Luiz Carlos Federizzi, um dos representantes das 49 coordenações de área, as quais seguem diretrizes gerais emitidas pela Diretoria de Avaliação e pelo Conselho Técnico Científico de Ensino Superior (CTC-ES) da Capes, e responsável pela avaliação de 218 Programas de Pós-Graduação (PPGs) no país, no seu campo de atuação. “A crise atual atinge diretamente a avaliação e não tem comparação com nada do passado”, afirma o professor.

Segundo Federizzi, a avaliação é baseada num conjunto de parâmetros que vão sendo ajustados com o tempo e durante o quadriênio.

Sempre foi assim, desde as primeiras avaliações, e todos os programas e seus coordenadores sabem o que é preciso para um programa de pós-graduação ter boa nota.

Luis Carlos Federizzi

Um parâmetro importante é a qualidade da produção cientifica, que é medida pela relevância do periódico em que o trabalho é publicado (fator de Impacto ou percentil do periódico em relação aos demais da área). O fator de impacto é calculado e pode ser diferente a cada ano, ou seja, é dinâmico.

“Em resumo, foi solicitado que agora se utilize a mesma ficha e os mesmos parâmetros da avaliação de 2013-2016, uma vez que as mudanças propostas pelas áreas mais recentemente deveriam ter sido realizadas e publicadas antes do atual quadriênio ter iniciado (isto é, em 2016). Está baseada no princípio de anterioridade, como fosse um jogo, no qual as regras estão postas antes do início”, explica o coordenador

Federizzi ainda acrescenta que, após a avaliação realizada em 2017, ficou claro que havia a necessidade de se fazerem algumas mudanças de aperfeiçoamento do sistema, o que foi feito. Todos os aperfeiçoamentos nas fichas foram amplamente discutidos com os programas e só depois aprovados pelo CTC-ES. “Essas mudanças foram no sentido de dar mais ênfase na qualidade do programa, da formação de alunos e impacto da sociedade e, não na quantidade, como no passado. Infelizmente, no Brasil de hoje, tudo está sendo judicializado”, observa.

O professor enfatiza que o principal elemento que caracteriza a avaliação da pós-graduação no Brasil é o fato de que ela se desenvolve em conjunto com própria comunidade acadêmica, coordenada pela Capes, por meio do procedimento amplamente difundido de análise por pares. O processo da avaliação conta com a participação de toda a comunidade acadêmico-científica brasileira, tanto no que se refere à definição das regras que orientam o processo como pela avaliação em si.

Em carta aberta divulgada no dia 10 de novembro, os coordenadores de área defenderam a conclusão da avaliação de 2017-2020, ressaltando que ela deve ser feita antes da apresentação de propostas para cursos novos já prevista pela Capes. Tanto a avaliação quadrienal como a entrada de novos cursos são conduzidos com base nos mesmos fundamentos pelo Sistema de Avaliação da Pós-Graduação da Capes.

Conforme o documento, os integrantes concordam que é de interesse geral que a análise de novos cursos só ocorra depois de concluída a avaliação quadrienal. Isso porque, salienta a manifestação, “as eventuais modificações de notas dos programas decorrentes da Avaliação 2017- 2020 têm efeito direto sobre a apreciação das propostas. Além disso, a própria avaliação fornece parâmetros importantes para esta mesma apreciação”. A carta foi escrita após uma audiência pública da Comissão de Educação da Câmara dos Deputados e reforça a importância da conclusão da avalição, acima de qualquer outra prioridade para a qualidade do ensino e da pesquisa.

A comunidade científica brasileira em geral também vem se mobilizando e reagindo diante da paralisação da avaliação, alertando para os prejuízos na políticas de educação, ciência e tecnologia. No dia 26 de novembro, após audiência pública e reunião com a presidente da Capes, parlamentares e entidades acadêmicas e científicas se manifestam em defesa da avaliação da qualidade da pós-graduação. O documento contextualiza que “questões externas e resultantes de contextos políticos e históricos anteriores acabaram por subsidiar ações do Ministério Público Federal e da Justiça Federal que vieram a judicializar a avaliação, sem antes ouvir as partes mais sensíveis ao processo de avaliação, em especial aqueles que compõem os PPGs no país. Uma estranha situação, já que essas ações pretendem defender os direitos desses mesmos Programas”.

Modelo de avaliação

Os procuradores autores da ação argumentam que não pretendem impedir o aprimoramento dos critérios avaliativos. Para eles, o problema está na modificação dos parâmetros e na sua retroação, impedindo que as instituições possam reagir à nova regulação. De acordo com dados divulgados pelo MPF, as mudanças dos critérios implementadas retroativamente afetaram as notas de 3,1 mil PPGs (89%), na avaliação de 2013 e 2016. Referente a 2017-2020, as inovações normativas poderiam impactar mais de 3,5 mil programas de pós-graduação no Brasil.

O agora ex-coordenador da área de Química, Adriano Monteiro, concedeu entrevista ao JU antes da renúncia, e reafirmou, nesta quinta-feira, 2 de dezembro, o que havia dito. Ele ressalta que a ação do MPF tem compreensão errada quanto ao modelo de avaliação da Capes. Os procuradores consideram que a avaliação deveria ser feita por critérios preestabelecidos, por isso, querem que se use a ficha de avaliação e os critérios de 2017. Entretanto, pondera o coordenador, a avaliação da Capes sempre foi baseada no modelo referenciado pela comparação e não o modelo referenciado pelos critérios preestabelecidos, conforme a distinção de Popham & Husek (1969).

Este modelo é universalmente utilizado em avaliações de larga escala, que resulta no escalonamento dos resultados. É uma forma de assegurar que todos os níveis de uma escala avaliativa sejam ocupados, dando destaque para os que alcançam níveis de excelência, ou seja, os que estão no topo da escala.

Adriano Monteiro

Nesse formato, os indicadores são predeterminados e divulgados antes do período da avaliação, os critérios, por sua vez, são desenvolvidos comparativamente durante a própria avaliação, a partir dos dados analisados. “Assim, no modelo adotado pela Capes, os indicadores são predeterminados, os critérios não”, conclui o pesquisador.

Segundo Adriano, o processo de avaliação em andamento vem garantindo, nos últimos quadriênios, forte estabilidade de notas, com baixíssimo número de programas que sofrem rebaixamento de nota ou descredenciamento (10% ou menos) quando comparados aos que mantêm ou sobem de nota (90% ou mais). “A imprevisibilidade surgiria agora, caso haja a necessidade de utilizar os procedimentos e instrumentos aplicados na avaliação 2013-2016 (conforme pedido do MPF), que se encontram claramente defasados e descolados dos dados coletados pelos PPGs. Assim, determinar judicialmente a suspensão da avaliação e, posteriormente, determinar a aplicação de critérios anteriores para o quadriênio atual, significaria um prejuízo sem precedentes para o Sistema Nacional de Pós-graduação, para os PPGs, para toda a comunidade acadêmica e, em especial, para a sociedade brasileira e o desenvolvimento da pesquisa científica do país”, analisa.

“Imagine se a avaliação fosse por critérios preestabelecidos, como quer o MP-RJ, usando a referência de 2017. De lá para cá, o financiamento para a pesquisa e a concessão de bolsas caiu drasticamente, acrescido da pandemia que paralisou ou restringiu significativamente as atividades de pesquisa”, argumenta Adriano. A importância de levar em conta o contexto socioeconômico e a dinâmica da ciência também foi a linha que a procuradora federal Adriana Carla Morais Ignácio enfatizou na ação de 3 de novembro, que pede a suspensão da liminar que paralisa a avaliação quadrienal. “Nós, profissionais do Direito, tendemos a uma visão muito formalista do mundo, enquanto que a ciência, em geral, vive em um processo de contínua efervescência, mutação e evolução”, escreveu a procuradora federal, destacando que o cumprimento da liminar já demonstra o estado de paralisação da produção científica no país.

Entre os fatos apresentados para solicitar a suspensão da decisão judicial, estão os prejuízos aos cofres públicos. Conforme os fatos narrados na defesa, para as atividades desempenhadas ao longo do quadriênio, já se gastou mais de R$ 13,1 milhões de dinheiro público. Só em 2021, em torno de R$ 2,5 milhões já foram empregados diretamente na execução da Avaliação Quadrienal.  “Não bastasse, há que se considerar os inúmeros esforços e recursos humanos, materiais de consumo, que estão sendo despendidos para organizar a Quadrienal 2021, uma vez que, em virtude da pandemia da Covid-19, a Capes vem realizando a avaliação quadrienal a distância, investindo em recursos tecnológicos de segurança de acesso e de dupla certificação, bem como a melhoria de sistemas como um todo”, ressalta a procuradora Adriana.

A avaliação dos PPGs é uma das atividades mais importantes da Capes, cujo modelo já está estabelecido desde 1998. Ela tem como base relatórios anuais enviados pelos programas na Plataforma Sucupira, onde são detalhadas todas as atividades realizadas. São apresentados indicadores como as disciplinas oferecidas, quantidade de discentes que defenderam dissertações e teses, qualificação dos docentes do programa, número de trabalhos publicados. Ou seja, são contemplados três eixos principais: programa, formação e impacto na sociedade.

“Com base na ficha do programa, é atribuída uma nota de 1 a 5, sendo que os programas de mestrado com nota 1 ou 2 e os de doutorado com nota 1, 2 ou 3 devem ser fechados. Aqueles com nota 5 são reavaliados, podendo receber notas 6 e 7, que são equivalentes aos melhores PPGs internacionais”, explica Federizzi. A avaliação é realizada por um comitê especial montado para isso, com docentes dos principais programas do país. A área faz a avaliação, preenche as fichas de cada programa e submete à consideração do Conselho Técnico Cientifico (CTC), formado por alguns dos coordenadores, que pode referendar a nota dada pela área ou modificá-la.

A universidade tem que se preocupar em dar apoio aos programas para que eles possam melhorar seus índices, aumentar sua nota e, o mais importante, não deve permitir que programas de pós-graduação de baixa qualidade sejam criados.

Luis Carlos Federizzi

O coordenador de área participa junto à Capes de forma voluntária, representando todos os programas da área, auxiliando a desenvolver as políticas de desenvolvimento da pós-graduação no Brasil e também na normatização de todas as atividades relativas aos PPGs. Ele ainda é responsável por convocar e propor o nome dos docentes que participarão dos diferentes comitês e tem mandato de 4 anos, podendo ser reconduzido uma vez.

Critérios e indicadores

O Sistema de Avaliação da Pós-Graduação é essencial para assegurar e manter a qualidade dos cursos de mestrado e doutorado, contribuindo com a melhoria, ampliação e consolidação da pós-graduação e dos estudos científicos e tecnológicos no país. Os principais objetivos da avaliação são a certificação da qualidade do PPG (referência para a distribuição de bolsas e recursos para o fomento à pesquisa), a identificação de diferenças regionais e de áreas estratégicas do conhecimento no Sistema Nacional de Pós-Graduação (SNPG) para orientar ações de indução na criação e expansão de PPG no país. O SNPG é composto pelos programas de pós-graduação reconhecidos pelo MEC (aproximadamente 4,6 mil programas) e distribuídos entre as 49 áreas de avaliação. “Elas correspondem às áreas básicas do conhecimento reconhecidas pelas agências de fomento e comunidade acadêmico-científica, mas agrupadas de acordo com a afinidade de objetos de pesquisa que apresentam entre si”, destaca Adriano.

Conforme o ex-coordenador da área de Química, é importante que fique claro a diferença entre o modelo pela comparação e de critérios preestabelecidos. Enquanto o indicador é uma variável que se relaciona com o fenômeno de estudo de forma operacional, sempre associado a uma escala de classificação, o critério estabelece, também de forma operacional, a distinção entre os níveis dessa escala. Por exemplo, quando se mensura algo utilizando-se uma média, tem-se um indicador. Uma média de mais de 100 relacionada ao conceito Muito Bom é um critério.

O MPF diz que a Capes altera os critérios de avaliação durante o curso do processo. Mas, na verdade, os critérios de avaliação são calculados com base nos resultados das médias (ou notas) obtidas pela análise comparativa dos indicadores que, apenas após a avaliação, será possível indicar, ou quantificar, o que se entende por Muito Bom, Bom, Regular, Fraco e Insuficiente

Adriano Monteiro

A avaliação de permanência é realizada periodicamente, respeitado o ciclo quatro anos, e se fundamenta também em quatro aspectos:

Comparativo: embora a avaliação preserve e considere as especificidades das áreas, deve promover a equivalência de qualidade de desempenho entre programas com as mesmas notas nas distintas áreas de avaliação, pautando-se por um conjunto de quesitos e itens avaliativos.
Classificatório: a avaliação estabelece diferentes níveis de desempenho ao comparar programas de uma mesma área.
Temporal: para garantir o aspecto comparativo do processo e manter um recorte equitativo e isonômico entre os PPG avaliados, é necessário limitar temporalmente o período avaliativo.
Participativo: a avaliação conta com ampla participação da comunidade acadêmica, tanto pelo engajamento dos coordenadores dos PPG ao fornecerem dados na Plataforma Sucupira quanto pela composição das comissões de avaliação, formadas pelos próprios pares dos pesquisadores atuantes nos cursos avaliados.

Principais etapas da avaliação:

1 – Coleta de informações: as instituições prestam informações referentes aos programas de pós-graduação por meio do módulo da Plataforma Sucupira. Para a Avaliação Quadrienal 2021, os anos são de 2017 a 2020.
2 – Tratamento das informações: as informações fornecidas são consolidadas pelo corpo técnico da Diretoria de Avaliação (DAV) da Capes.
3 – Classificação da produção intelectual: a produção intelectual dos PPG é avaliada pelas comissões, e ela é utilizada para a análise dos PPG com outros quesitos na etapa seguinte.
4 – Os dados dos programas são analisados por comissões: elas emitem relatórios com parecer e nota para cada PPG, numa escala de 1 a 7. Os pareceres são chancelados pela coordenação da área de avaliação.
5 – Análise pelos colégios e decisão pelo Conselho Técnico e Científico do Ensino Superior (CTC-ES): os relatórios das comissões de área são analisados pelos colégios que emitirão pareceres objetivando subsidiar a decisão do CTC-ES. Este aprecia os pareceres da área e do Colégio e decide pela nota do PPG, numa escala de 1 a 7.
6 – Deliberação do Conselho Nacional de Educação (CNE) e homologação do MEC: o parecer do CTC-ES é encaminhado Capes ao CNE/MEC para aprovação e homologação dos resultados.

Os programas que, ao final da avaliação, não alcançarem a nota mínima (3 para os mestrados, 4 para os doutorados), não têm a renovação do seu reconhecimento. Estes curso entram em desativação e não podem matricular novos alunos. Os discentes já matriculados vão ter seus diplomas reconhecidos com validade nacional.

Futuro da pós-graduação

Sem a avalição quadrienal, décadas de trabalho podem ser perdidas, e o futuro da produção científica e tecnológica estão em xeque, além de afetar a política de educação das universidades. “Até o momento, nenhuma decisão foi feita quanto ao mérito da questão e, pelo volume de informação que o judiciário requisitou, não tenho ideia de quando isso será concluído”, afirma Adriano. Sem a avaliação, não há indicadores que possam pautar decisões futuras para a política de educação brasileira. “Está se colocando em risco o trabalho de décadas que elevaram a ciência brasileira ao patamar internacional. Ficam em perigo nossa produção científica e tecnológica, assim como a formação de profissionais e professores altamente qualificados”, alerta.

As universidades usam as notas dos programas e a avaliação para definir suas políticas de fomento e indução. Por exemplo, um curso que teve uma nota baixa deve ser apoiado no sentido de sanar as deficiências apontadas na avaliação. “Em outros casos, as características do edital visam programas de excelência. Sem a avaliação corre-se o risco de que qualquer distribuição de recursos ou bolsa seja feita com base no clientelismo”, observa Adriano.

A mesma perspectiva é compartilhada pelo coordenador da áreas de Agrárias, contudo, agregando outras preocupações. “O problema do tempo é importante, porque os atuais coordenadores têm mandato até o início do próximo ano, e seria bom que eles terminassem a avaliação, uma vez que vem acompanhando todo o processo desde o começo”, destaca Federizzi. Além disso, para garantir a qualidade, precisa-se tempo e disponibilidade dos consultores. “Em nosso caso, utilizamos 80 consultores que precisam ser treinados e depois participar das reuniões de discussão de cada nota de cada PPG. A avaliação será finalizada utilizando os critérios antigos ou os mais recentes. A pergunta é com que qualidade a mesma será realizada”, questiona.

A consequência da não finalização da avaliação 2017-2020 é que todos os programas ficam com a nota atual, o que pode não representar mais a qualidade do programa. Por exemplo, o mestrado que tem nota 3 não podem solicitar a abertura de doutorado. A nota também é utilizada para a distribuição de bolsas e recursos financeiros que, até o momento, está atrelada à nota dada ao programa na avaliação de 2017.

O JU tentou contato com o atual diretor de Avaliação da Capes, Flávio Camargo, mas, até o fechamento desta reportagem, não obteve retorno.


Leia mais:

Confira os desdobramentos e a manifestação da Capes com relação à avaliação quadrienal da pós-graduação