Na de este ano Conferência Internacional sobre Aprendizado de Máquinas (ICML2025)Assim, Jaeho Kim, Yunseok Lee e Seulki Lee ganhou um Prêmio de papel de posição excelente pelo trabalho deles Posição: A crise de revisão por pares da AI Convention exige suggestions dos autores e recompensas de revisores. Ouvimos de Jaeho sobre os problemas que eles estavam tentando abordar e o mecanismo proposto de suggestions do autor e o sistema de recompensa do revisor.
Você poderia dizer algo sobre o problema que você aborda em seu papel de posição?
Nosso artigo de posição aborda os problemas que afetam os sistemas atuais de revisão de pares da AI, ao mesmo tempo em que levanta questões sobre a direção futura da revisão por pares.
O problema iminente com o atual sistema de revisão por pares nas conferências de IA é o crescimento exponencial nas submissões de papel impulsionadas pelo aumento do interesse na IA. Para colocar isso com números, os Neurips receberam mais de 30.000 submissões este ano, enquanto a ICLR registrou um aumento de 59,8% nas submissões em apenas um ano. Esse enorme aumento nas submissões criou uma incompatibilidade basic: enquanto as submissões em papel crescem exponencialmente, o conjunto de revisores qualificados não acompanhou o ritmo.
Submissões a algumas das principais conferências de IA nos últimos anos.
Esse desequilíbrio tem consequências graves. A maioria dos trabalhos não está mais recebendo a qualidade adequada da revisão, minando a função essencial da revisão por pares como guardião do conhecimento científico. Quando o processo de revisão falha, documentos inadequados e pesquisas falhas podem passar, potencialmente poluindo o registro científico.
Considerando o profundo impacto social da IA, esse colapso no controle de qualidade apresenta riscos que se estendem muito além da academia. Págrodas ruins que entram no discurso científico podem enganar trabalhos futuros, influenciar as decisões políticas e, finalmente, impedir o avanço genuíno do conhecimento. Nosso documento de posição se concentra nessa questão crítica e propõe métodos sobre como podemos melhorar a qualidade da revisão, levando a uma melhor disseminação do conhecimento.
O que você defende no papel de posição?
Nosso documento de posição propõe duas grandes mudanças para combater a crise atual de revisão por pares: um mecanismo de suggestions do autor e um sistema de recompensa do revisor.
Primeiro, o sistema de suggestions do autor permite que os autores avaliem formalmente a qualidade das revisões que recebem. Este sistema permite que os autores avaliem a compreensão dos revisores de seu trabalho, identifiquem sinais potenciais de conteúdo gerado por LLM e estabeleça salvaguardas básicas contra revisões injustas, tendenciosas ou superficiais. É importante ressaltar que não se trata de penalizar os revisores, mas criar uma responsabilidade mínima para proteger os autores da pequena minoria de revisores que podem não atender aos padrões profissionais.
Segundo, nosso sistema de incentivo ao revisor fornece valor profissional imediato e de longo prazo para revisão de qualidade. Para motivação a curto prazo, as pontuações de avaliação de autores determinam a elegibilidade para crachás digitais (como o reconhecimento de “10% dos 10%”) que podem ser exibidos em perfis acadêmicos como OpenReview e Google Scholar. Para um impacto na carreira de longo prazo, propomos novas métricas como uma “pontuação de impacto do revisor”-essencialmente um índice H calculado a partir das citações subsequentes dos artigos que um revisor avaliou. Isso trata os revisores como colaboradores dos trabalhos que ajudam a melhorar e valida seu papel no avanço do conhecimento científico.
Você poderia nos contar mais sobre sua proposta para este novo método de revisão por pares de mão dupla?
Nosso sistema de revisão por pares de duas vias proposto faz uma mudança importante no processo atual: dividimos a versão de revisão em duas fases.
A modificação proposta pelos autores no sistema de revisão por pares.
Atualmente, os autores enviam artigos, os revisores escrevem críticas completas e todas as análises são divulgadas de uma só vez. Em nosso sistema, os autores primeiro recebem apenas as seções neutras – o resumo, os pontos fortes e as perguntas sobre seu artigo. Os autores fornecem suggestions sobre se os revisores entenderam adequadamente seu trabalho. Somente após esse suggestions liberamos a segunda parte que contém fraquezas e classificações.
Esta abordagem oferece três benefícios principais. Primeiro, é prático – não precisamos alterar os cronogramas existentes ou a revisão de modelos de revisão. A segunda fase pode ser liberada imediatamente após os autores fornecer suggestions. Segundo, protege os autores de críticas irresponsáveis, pois os revisores sabem que seu trabalho será avaliado. Terceiro, como os revisores normalmente revisam vários artigos, podemos rastrear suas pontuações de suggestions para ajudar as cadeiras da área a identificar (IR) revisores responsáveis.
O principal perception é que os autores conhecem seu próprio trabalho e podem identificar rapidamente quando um revisor não se envolve adequadamente com o trabalho.
Você poderia falar sobre o sistema de recompensa de concreto que você sugere no artigo?
Propomos recompensas de curto e longo prazo para abordar a motivação do revisor, que naturalmente diminui com o tempo, apesar de iniciar com entusiasmo.
A curto prazo: os crachás digitais exibidos nos perfis acadêmicos dos revisores, concedidos com base nas pontuações de suggestions dos autores. O objetivo é tornar as contribuições do revisor mais visíveis. Enquanto algumas conferências listam os principais revisores em seus websites, essas listas são difíceis de encontrar. Nossos crachás seriam exibidos com destaque nos perfis e poderiam até ser impressos em tags de nome da conferência.Exemplo de um crachá que poderia aparecer nos perfis.
A longo prazo: métricas numéricas para quantificar o impacto do revisor em conferências de IA. Sugerimos rastrear medidas como um índice H para artigos revisados. Essas métricas podem ser incluídas em portfólios acadêmicos, semelhante à maneira como rastreamos o impacto da publicação.
A idéia principal é criar benefícios de carreira tangíveis para os revisores, estabelecendo a revisão por pares como um serviço acadêmico profissional que recompensa autores e revisores.
O que você acha que poderia ser alguns dos prós e contras de implementar este sistema?
Os benefícios do nosso sistema são três vezes. Primeiro, é uma solução muito prática. Nossa abordagem não altera os horários atuais de revisão ou revise os encargos, facilitando a incorporação nos sistemas existentes. Segundo, incentiva os revisores a agirem com mais responsabilidade, sabendo que seu trabalho será avaliado. Enfatizamos que a maioria dos revisores já age profissionalmente – no entanto, mesmo um pequeno número de revisores irresponsáveis pode prejudicar seriamente o sistema de revisão por pares. Terceiro, com escala suficiente, as pontuações de suggestions dos autores tornarão as conferências mais sustentáveis. As cadeiras de área terão melhores informações sobre a qualidade do revisor, permitindo que tomem decisões mais informadas sobre a aceitação do papel.
No entanto, há um forte potencial de jogo pelos revisores. Os revisores podem otimizar as recompensas, dando críticas excessivamente positivas. Medidas para neutralizar esses problemas são definitivamente necessárias. Atualmente, estamos explorando soluções para resolver esse problema.
Existem pensamentos finais que você gostaria de acrescentar sobre o futuro potencial
de conferências e revisão de pares?
Uma tendência emergente que observamos é a crescente discussão dos LLMs na revisão por pares. Embora acreditemos que os LLMs atuais tenham várias fraquezas (por exemplo, injeção imediata, críticas rasas), também achamos que eles acabarão por superar os seres humanos. Quando isso acontecer, enfrentaremos um dilema basic: se os LLMs fornecerem melhores críticas, por que os humanos devem revisar? Assim como a rápida ascensão dos LLMs nos pegou despreparados e criou o caos, não podemos pagar uma repetição. Devemos começar a nos preparar para esta pergunta o mais rápido possível.
Sobre Jaeho
 | Jaeho Kim é pesquisador de pós -doutorado da Universidade da Coréia com o professor Changghee Lee. Ele recebeu seu Ph.D. De Unist sob a supervisão do professor Seulki Lee. Sua principal pesquisa se concentra no aprendizado de séries temporais, principalmente no desenvolvimento de modelos de fundação que geram dados de séries temporais sintéticas e guiadas por seres humanos para reduzir os custos computacionais e de dados. Ele também contribui para melhorar o processo de revisão por pares nas principais conferências de IA, com seu trabalho reconhecido pelo Prêmio de Documento de Posição de Posição ICML 2025. |
Leia o trabalho integralmente
Posição: A crise de revisão por pares da AI Convention exige suggestions dos autores e recompensas de revisoresAssim, Jaeho Kim, Yunseok Lee, Seulki Lee.
AiHub
é uma organização sem fins lucrativos dedicada a conectar a comunidade de IA ao público, fornecendo informações gratuitas e de alta qualidade na IA.
O AiHub é uma organização sem fins lucrativos dedicada a conectar a comunidade de IA ao público, fornecendo informações gratuitas e de alta qualidade na IA.