O sistema de pesquisa e publicação de artigos acadêmicos sobre IA está completamente falido... por causa do uso da IA

Em março passado, a ICML, a conferência acadêmica mais antiga do mundo dedicada ao aprendizado de máquina, rejeitou 497 artigos científicos após descobrir que 506 revisores haviam usado inteligência artificial (IA) para escrever suas avaliações. Eles violaram uma regra que eles mesmos haviam concordado em cumprir.

Em Xataka Brasil

Nem humanos exaustos, nem monges tradicionais: a Coreia do Sul acaba de colocar a inteligência artificial para rezar e meditar em uma cerimônia budista e esse foi o resultado

Esta conferência é organizada pela Sociedade Internacional de Aprendizado de Máquina (IMLS), uma organização sem fins lucrativos, e é realizada anualmente desde 1980. A cada ano, pesquisadores que trabalham na área de IA submetem seus artigos científicos à ICML no final de janeiro ou início de fevereiro.

Esses artigos são revisados ​​por um comitê de outros pesquisadores da área, que os avaliam e decidem se serão publicados caso passem por um rigoroso processo de revisão que normalmente dura vários meses.

As decisões de aceitação ou rejeição geralmente são comunicadas aos autores em maio, e a conferência ICML normalmente ocorre em julho. Publicar na ICML, na NeurIPS (Conferência e Workshop sobre Sistemas de Processamento de Informação Neural) ou na ICLR (Conferência Internacional sobre Representações de Aprendizado) é equivalente a publicar em periódicos científicos como Nature ou Science em outras disciplinas.

Mas o ICML tem um problema sério: sua autoridade está sendo questionada no r/MachineLearning, uma comunidade do Reddit especializada em aprendizado de máquina com mais de 2,5 milhões de inscritos.

Em Xataka Brasil

Um dos problemas matemáticos mais difíceis da ciência é resolvido por IA: o segredo está no método

Uma perversão onde os revisores não têm tempo para revisar

Antes de prosseguir, vale a pena considerar um marco muito importante: o número de artigos científicos recebidos pelo ICML está crescendo exponencialmente ano após ano. Em 2023, foram 6.538 artigos, e em 2024, nada menos que 9.653, representando um aumento de 48%.

A raiz do problema reside no fato de que o número de revisores qualificados não está aumentando na mesma proporção que o número de artigos científicos que precisam ser avaliados.

Como mencionado anteriormente, as diretrizes do ICML estipulam que os revisores não podem recorrer facilmente à IA para realizar suas avaliações, pois esse procedimento pode introduzir viés. De fato, um estudo do ICLR 2024 revelou que os artigos científicos avaliados usando modelos de IA tendem a receber notas mais altas do que aqueles revisados ​​pelo método convencional.

Este é o problema. Para a edição de 2026, o ICML ofereceu aos revisores a opção entre duas políticas: uma que proibia o uso de IA e outra que o permitia, mas com condições. Apenas aqueles que escolheram a primeira opção e a violaram foram penalizados.

Em Xataka Brasil

Nem tratores, nem agricultores: a China revela a megaestrutura bizarra perfeita para cultivar comida fresca, barata e infinita para alimentar bilhões de pessoas

No entanto, há um fato relevante que não deve ser ignorado: os 497 artigos científicos rejeitados em março deste ano foram revisados ​​por revisores que atuavam simultaneamente como autores e revisores, e, portanto, seus artigos científicos foram penalizados devido à violação das diretrizes do ICML. Dos 506 infratores, apenas 398 eram revisores que haviam submetido um artigo.

Curiosamente, o sistema de detecção usado pelo ICML envolve ocultar instruções específicas nos PDFs dos artigos aguardando revisão. Essas instruções são invisíveis para um leitor humano, mas qualquer modelo de IA que processe o documento as interpreta e inclui frases específicas e rastreáveis ​​na avaliação.

O ICML não utilizou detectores genéricos de IA. No entanto, cada caso detectado foi verificado manualmente para confirmar se de fato ocorreu uma violação durante a preparação da avaliação.

Em Xataka Brasil

Da multitarefa à IA: entenda como a memória RAM dita o que seu notebook Dell consegue (ou não) fazer em 2026

O que está acontecendo reflete uma realidade inegável: o sistema de revisão falhou e precisa ser reconstruído. Os revisores estão sobrecarregados. Não os da ICML, nem os da NeurIPS, nem os da ICLR. O número de revisores qualificados deveria estar crescendo na mesma proporção que o número de artigos científicos que precisam ser avaliados, e isso não está acontecendo.

Além disso, essa situação introduziu outro problema: as decisões de aceitação ou rejeição assumiram um caráter aleatório que ameaça a consistência e a confiabilidade das avaliações.

Ainda não está totalmente claro qual caminho deve ser seguido para resolver esse problema, além da necessidade de aumentar o número de revisores qualificados. Uma opção é melhorar a transparência do processo de revisão, publicando todas as avaliações, inclusive as de artigos rejeitados.

Em Xataka Brasil

IA destrói bancos de dados de empresa em 9 segundos — ela admite que não foi solicitada e fez uma suposição para executar comando

Outra opção seria transformar o processo de avaliação em um procedimento bidirecional, no qual os autores também avaliam a qualidade das revisões que recebem. Dessa forma, os revisores terão um histórico que demonstra sua competência. Veremos qual estratégia as conferências implementarão. Descobriremos em 2027.

Imagem de capa | Charlesdeluvio (Unsplash)