Ben Williamson1
Nas últimas semanas, surgiu uma controvérsia sobre publicações de estudos alegando apresentar evidências estatísticas de que a IA generativa possui efeitos positivos na aprendizagem. Duas meta-análises recentes dos efeitos do ChatGPT e um artigo de pesquisa publicado pelo Banco Mundial alegaram que a IA leva a melhorias mensuráveis no aprendizado. Críticos começaram a contrapor que esses estudos são metodologicamente falhos, exagerados e enganosos em suas conclusões.
Antes de tratarmos das críticas, primeiramente é importante observar a recepção dessas publicações. Esses estudos todos foram divulgados virtualmente com o apoio de vários perfis com inúmeros seguidores.
Por exemplo, a meta-análise mais recente intitulada “O efeito do ChatGPT no desempenho de aprendizagem, percepção de aprendizagem e pensamento de ordem superior dos alunos: insights de uma meta-análise” foi publicada em 6 de maio. Até o momento da produção deste artigo (28 de maio), ela tem uma pontuação Altmetric de 365, e foi acessada 386.000 vezes. Sua pontuação Altmetric consiste em quase 200 menções no Xitter2 e outras 150 no Bluesky, além de 13 menções em notícias e também algumas no Reddit. (Quem sabe quão alta seria a pontuação se as publicações no Linkedin fossem contabilizadas?)
A meta-análise anterior, intitulada “ChatGPT melhora aprendizagem estudantil? Uma revisão sistemática e meta-análise de estudos experimentais” (“The effect of ChatGPT on students’ learning performance, learning perception, and higher-order thinking: insights from a meta-analysis”), já foi citada 42 vezes em outros artigos de pesquisa publicados (de acordo com o Google Acadêmico), mesmo tendo sido publicada apenas em dezembro de 2024, e ela foi incluída nas referências de meta-análises mais recentes. Essa é uma taxa fenomenal de aceitação inicial, citação e recirculação de resultados em publicações subsequentes.
A mais recente publicação levantando preocupações atuais é a do estudo do Banco Mundial, “Dos Quadros aos Chatbots: Avaliando o impacto da IA generativa no rendimento de aprendizado na Nigéria” (“From Chalkboards to Chatbots: Evaluating the Impact of Generative AI on Learning Outcomes in Nigeria”), que relata melhorias no aprendizado a partir de um programa de aulas após o horário escolar que utilizou o Microsoft Copilot. Ela foi amplamente divulgada online como evidência de que, após uma breve intervenção, o “ensino com IA” tem impacto significativo no rendimento no aprendizado. Quando os resultados foram divulgados em uma postagem do blog do Banco Mundial no início do ano, acabou gerando manchetes dramáticas como “aulas de reforço com IA ajudam estudantes nigerianos a obter dois anos de aprendizado em seis semanas”.
Ao mesmo tempo, o artigo do site Hechinger Report resumiu dois outros estudos mostrando os efeitos deletérios da IA nos processos de aprendizagem. A IA, sugere ele, diminui pensamento crítico e leva a “abandono cognitivo” e “preguiça metacognitiva”.
Mas as evidências dos “danos” causados pela IA podem ser comprometidas pelos mesmos problemas metodológicos daqueles que procuram demonstrar evidência causal de efeitos positivos. O problema subjacente é que atualmente existe uma emergência voraz em mostrar “efeitos” causais da IA na educação, sejam eles bons ou ruins, e isso está levando a uma torrente de estudos que imediatamente atraem a atenção da mídia e de públicos enormes, a despeito de seus defeitos e limitações metodológicas.
Numa resposta concisa à situação, Tim Fawns dispôs bem o problema:
“Nós somos muito ruins nesse tipo de pesquisa, e demasiadamente receptivos a ela. Ensino por IA não tem um efeito no aprendizado – isso depende de contexto, propósitos, métodos e como é disposta em processos, jornadas e práticas amplas de aprendizado. A IA não causa “perda de aprendizagem” ou “abandono cognitivo” – a forma como o pensamento é diferentemente desempenhado e distribuído depende desses mesmos fatores. […] Tentar isolar os efeitos de uma tecnologia das práticas nas quais ela é utilizada leva a visões excessivamente simplistas, o que não é uma boa base para ação.”
Claramente existe um grande problema com a circulação atual de evidências a respeito de IA na educação, e está rapidamente se tornando um tópico controverso que atrai atenção crítica. Uma parte do problema é a prática científica no campo em si, a outra consiste na facilidade, rapidez e amplitude com que essas descobertas estatísticas circulam.
Ciência Rápida
O campo da IA na pesquisa de educação tem uma longa história, métodos estabelecidos e revistas acadêmicas que avaliam suas reinvindicações. Mas a recente onda de pesquisas e resultados excede o campo e seus padrões. Isso significa que pesquisas de qualidade e procedência extremamente duvidosas estão sendo publicadas numa frequência industrial. As meta-análises mencionadas anteriormente, por exemplo, identificaram milhares de artigos candidatos publicados apenas nos dois anos e meio desde o lançamento do ChatGPT.
Ao comentar esses meta-estudos, Ilkka Tuomi destacou que os mais recentes deles sequer incluem quaisquer padrões de controle claros. Isso significa que apresentavam em suas análises estudos anteriores que provavelmente não tenham sido rigorosamente revisados por pares e que foram publicados em revistas de baixa qualidade.
Isso remete ao crescente problema com a pesquisa de IA na Educação (AIED): fracos padrões probatórios. De forma direta, é relativamente fácil publicar estudos AIED em revistas com revisão por pares de baixa qualidade e de processos editoriais de publicação acelerados. Isso permite que trabalhos de qualidade duvidosa sejam captados nos processos de busca para meta-análise e, em seguida, agrupados como evidência conclusiva na publicação de meta-estudos em revistas de maior renome. Os resultados agregados e as principais conclusões são, então, difundidos por grandes perfis nas mídias sociais.
E a qualidade é bastante questionável. Numa extensa e aprofundada avaliação metodológica intitulada “O Bom, o Mau e o Feio da Ciência de IA na Educação” (“The Good, the Bad, and the Ugly Science of AI in Education”), Wess Trabelski descobriu que grande parte de sua literatura apresenta falhas experimentais de design que invalidam as constatações, resultados previsíveis, largamente especulativos e conclusões exageradas que não são fundamentadas pelos dados, e até mesmo que algumas “representam flagrantes violações da integridade científica que, de alguma forma, escaparam no supostamente rigoroso processo de revisão por pares”.
O problema é especialmente grave quando meta-estudos de AIED são publicados no que parecem ser periódicos “padrão-ouro”, apesar da origem questionável das evidências subjacentes que relatam. “Entra lixo, sai ouro”, como Ilkka Tuomi colocou. “Ciência-lixo” se transforma em uma base de evidência aparentemente confiável quando embalada em dezenas de estudos similares em revistas bem avaliadas, então circulam como um aglomerado de provas causais de que IA afeta a aprendizagem.
Como os próprios líderes na área de pesquisa de AIED observaram, muito dessa “ciência rápida” sobre os efeitos da IA carece de validade e não distinguem métodos de ensino e recursos técnicos.
Enumerando AIED
O problema com os meta-estudos, então, é o de que os artigos subjacentes nos quais as análises são fundamentadas devem, no mínimo, ser tratados com cautela. Isso também se tornou evidente com a publicação do estudo do Banco Mundial sobre uso de IA em aula. Apesar de sua rápida circulação online, várias críticas metodológicas lançaram sérias dúvidas sobre suas conclusões.
De acordo com Betsy Wolf, os cálculos sobre o tamanho do efeito da intervenção parecem convincentes, mas são fundamentalmente falhos. Uma de suas medidas de resultado (“conhecimento de IA e habilidades digitais”), por exemplo, é excessivamente alinhada com o próprio Copilot: “seria de se esperar que alunos do Copilot estivessem mais familiarizados com IA”. Isso também enganosamente equipara os efeitos do próprio estudo de seis semanas ao “rendimento anual de aprendizado”.
Michael Pershan argumentou ainda que existem “grandes problemas evidentes em seus experimentos que comprometem de maneiras óbvias seus espalhafatosos resultados”. A questão primária é que o estudo comparou um grupo de alunos que recebeu aulas adicionais, incluindo o MS Copilot, enquanto um “grupo controle” não recebeu nada além de suas aulas habituais. Em outras palavras, o grupo de tratamento recebeu um número significativamente maior de aulas que os demais.
“Tudo que esse estudo é capaz de mostrar”, disse Pershan, “é que o programa não foi literalmente uma perda de tempo”:
“Porque o grupo de controle, academicamente falando, não fez nada. Quero dizer, pressupõe-se que eles fizeram muitas coisas: jogaram futebol, saíram com amigos, cozinharam, enfim. Mas, fundamentalmente, o grupo com atividades depois da escola estudou mais, e o grupo de controle não.”
Com base nisso, o que o estudo realmente mostra é que aulas adicionais ajudam a melhorar os resultados na aprendizagem a curto prazo em relação à frequência escolar padrão, mas pouco diz sobre os efeitos de aulas com IA, e diz ainda menos sobre os efeitos da IA nos rendimentos de aprendizagem a longo prazo (que foi a notícia viral compartilhada online). Mesmo uma avaliação elogiosa do projeto observou que “a projeção de seis semanas a anos letivos completos requer saltos enormes que vão além do que os dados podem sustentar”. Ainda assim, em seu lançamento online, o estudo se espalhou largamente devido ao título mencionando grande rendimento de aprendizagem.
Minúcias metodológicas à parte, uma leitura mais sociológica desse evento pode ser mais útil. Isso revela um aspecto do poder das estatísticas e de sua circulação.
Em última análise, o que estamos procurando aqui é a rápida proliferação de estudos localizados, de menor escala e dependentes de contexto sobre IA na educação. Estes estudos foram generalizados para além do que os dados são capazes de comprovar com precisão. Hoje os resultados são rotineiramente compartilhados online como prova estatística de que a IA aprimora o “desempenho da aprendizagem”, ou “os rendimentos da aprendizagem”, ou algo do gênero.
É um bom exemplo de como a autoridade passou a ser associada aos números e sua pretensa objetividade. Existe uma grande “confiança nos números”, como sociólogos da quantificação diriam. Números são considerados inerentemente verdadeiros, o que é evidenciado pelo “tamanho do efeito” e “significância estatística”.
Muitas afirmações recentes sobre IA na educação dependem dessa confiança na quantificação e em seus preciosos métodos estatísticos. O estudo do Banco Mundial, por exemplo, relatou “o dobro do efeito de algumas das intervenções mais eficazes na educação”. Tais afirmações numéricas aparentam ser objetivas, legítimas e confiáveis. A enumeração dos efeitos da AIED é determinante na formação de opinião e potencialmente influente nas decisões políticas no que compete à IA na educação.
Ciência Viral
Números, porém, são sempre conquistas sociais e técnicas. Em cada etapa, são feitas escolhas sobre o que contar, como analisar, quais instrumentos de cálculo utilizar, em quais contextos e sob quais condições. Fatores sociais são envolvidos na produção de estatísticas desde a concepção, financiamento, planejamento, coletagem de dados, análise e publicação; até o contexto de circulação, recepção e comentários.
Além disso, parte do poder dos números consiste no fato de serem facilmente transportáveis. Eles podem se deslocar para muito além do contexto que os geraram e dos contextos que “representam” ou “refletem”, seja em seu formato numérico original, seja em gráficos e tabelas.
Isto é relevante, uma vez que os números podem ser facilmente transformados e apresentados como prova de que refletem a realidade, velando todas as circunstâncias contextuais e sociotécnicas de sua produção.
Tal processo foi evidente, por exemplo, na forma que o estudo recente do Banco Mundial foi apresentado, com um simples gráfico de resultados, o qual foi reproduzido por muitos que o postaram online, e pelas formas como tamanho do efeito estatístico foi comunicado como evidência objetiva de efetividade da intervenção do Copilot. Os fatores contextuais reais associados ao estudo e os detalhes da sua implementação (sobretudo do seu grupo de controle) foram convenientemente colocados em segundo plano, especialmente quando as principais conclusões do estudo circularam nas redes sociais.
Em outras palavras, as estatísticas amplamente divulgadas acerca dos efeitos da IA tiveram de ser feitas, interpretadas, descontextualizadas, exageradas, universalizadas e, então, tornadas compatíveis com plataformas que promovessem potencial de viralização. Não há necessariamente nada enganoso ou sinistro nisso, mas certamente confere vantagens pessoais, organizacionais, de reputação e de citação àqueles que reivindicam produzir evidências quantitativas “com relevância política”.
Não será surpresa se, em poucos meses, for descoberto que os resultados do estudo do Banco Mundial, bem como os meta-estudos, foram incluídos em relatórios políticos, além de terem sido acessados milhares de vezes mais, e citados como evidência do impacto da IA nos resultados educacionais. A enumeração e o caráter viral dos efeitos da AIED provavelmente darão a esses estudos influência política e social considerável, especialmente em contextos que alegam valorizar “políticas fundamentadas em evidência” que “seguem a ciência”.
Então, essa aparentemente objetiva e quantificável evidência poderia ser usada para apoiar programas políticos em contextos a milhares de quilômetros de distância, em situações sociais, políticas e econômicas completamente diferentes das do local de origem dessa enumeração.
Essa produção e circulação “rápida” de evidências contrasta fortemente com relatos recentes das ciências sociais qualitativas sobre a IA na educação, que destacam os fatores contextuais e subjetivos que afetam o uso e a compreensão dos alunos em relação às aplicações de IA. Mas essa forma de ciência mais lenta, mais cautelosa, criticamente contextualizada e menos generalizável tem menos chances de se difundir e ganhar grande destaque em comparação a resultados estatísticos de grande portabilidade. No entanto, ela oferece uma visão mais detalhada sobre como a IA vem se entrelaçando às práticas educacionais e aos processos de aprendizagem.
Talvez uma vertente importante da pesquisa em ciências sociais também pudesse explorar mais profundamente a produção social e técnica de evidências da AIED, e, dessa forma, ajudar a compreender melhor todos os fatores que afetam a forma como essas evidências são produzidas, divulgadas e recebidas num contexto social que supervaloriza e enaltece a ciência viral.
* * *
(Este texto foi originalmente publicado no site Code Acts in Education, em 28 de maio de 2025. Agradecemos encarecidamente ao autor por ceder os direitos da tradução. Para ler o original, clique aqui. Tradução de Roger Gregory Silveira.)
- Leitor Sênior no Centro de Pesquisa em Educação Digital (Centre for Research in Digital Education) e do Edinburgh Futures Institute. Autor de Big Data in Education: The Digital Future of Learning, Policy and Practice. ↩︎
- Trata-se de um jogo de palavras que funde o antigo nome da plataforma (Twitter), com o atual (X), formando uma palavra cuja pronúncia é semelhante a “shitter” (“cagão”, em português). [N.E.] ↩︎
Carbono, vol. 12 – novembro de 2025.
ISSN: 3085-7066