Todos os anos, os países que competem na Olimpíada Internacional de Matemática (IMO) chegam com um livreto com seus melhores e mais originais problemas. Esses folhetos são partilhados entre as delegações e depois desaparecem silenciosamente. Ninguém alguma vez os tinha recolhido sistematicamente, limpou-os e disponibilizou-os, nem para os investigadores de IA que testavam os limites do raciocínio matemático, nem para os estudantes de todo o mundo que treinavam para estas competições em grande parte por conta própria.
Pesquisadores do Laboratório de Ciência da Computação e Inteligência Synthetic do MIT (CSAIL), da Universidade King Abdullah de Ciência e Tecnologia (KAUST) e da empresa HUMAIN fizeram exatamente isso.
MathNet é o maior conjunto de dados de alta qualidade de problemas matemáticos baseados em provas já criado. Compreendendo mais de 30.000 problemas e soluções de autoria de especialistas, abrangendo 47 países, 17 idiomas e 143 competições, é cinco vezes maior do que o segundo maior conjunto de dados desse tipo. O trabalho será apresentado na Conferência Internacional sobre Representações de Aprendizagem (ICLR) no Brasil ainda este mês.
O que torna o MathNet diferente não é apenas o seu tamanho, mas a sua amplitude. Os conjuntos de dados anteriores em nível de Olimpíada foram extraídos quase exclusivamente de competições nos Estados Unidos e na China. MathNet abrange dezenas de países em seis continentes, abrange 17 idiomas, inclui problemas e soluções baseados em texto e imagem e abrange quatro décadas de matemática competitiva. O objetivo é capturar toda a gama de perspectivas matemáticas e tradições de resolução de problemas que existem em toda a comunidade matemática international, e não apenas as mais visíveis.
“Cada país traz um livreto com seus problemas mais novos e criativos”, diz Shaden Alshammari, estudante de doutorado do MIT e autor principal do artigo. “Eles compartilham os livretos entre si, mas ninguém se esforçou para coletá-los, limpá-los e carregá-los on-line”.
A construção da MathNet exigiu o rastreamento de 1.595 volumes de PDF, totalizando mais de 25.000 páginas, abrangendo documentos digitais e digitalizações de décadas atrás em mais de uma dúzia de idiomas. Uma parte significativa desse arquivo veio de uma fonte improvável: Navid Safaei, uma figura comunitária de longa knowledge da IMO e coautor que colecionava e digitalizava esses livretos manualmente desde 2006. Seu arquivo pessoal formava grande parte da espinha dorsal do conjunto de dados.
A origem é tão importante quanto a escala. Enquanto a maioria dos conjuntos de dados matemáticos existentes extraem problemas de fóruns comunitários como Artwork of Drawback Fixing (AoPS), o MathNet baseia-se exclusivamente em livretos oficiais de competições nacionais. As soluções nesses livretos são escritas por especialistas e revisadas por pares, e muitas vezes ocupam várias páginas, com os autores percorrendo diversas abordagens para o mesmo problema. Essa profundidade dá aos modelos de IA um sinal muito mais rico para a aprendizagem do raciocínio matemático do que as soluções mais curtas e informais, típicas de conjuntos de dados de origem comunitária. Isto também significa que o conjunto de dados é genuinamente útil para os estudantes: qualquer pessoa que se put together para a IMO ou para uma competição nacional tem agora acesso a uma coleção centralizada e pesquisável de problemas de alta qualidade e soluções trabalhadas de tradições de todo o mundo.
“Lembro-me de tantos estudantes para quem period um esforço particular person. Ninguém no seu país os treinava para este tipo de competição”, diz Alshammari, que competiu na IMO como estudante. “Esperamos que isso lhes dê um lugar centralizado com problemas e soluções de alta qualidade para aprender.”
A equipe tem raízes profundas na comunidade IMO. Sultan Albarakati, coautor, atualmente faz parte do conselho da IMO, e os pesquisadores estão trabalhando para compartilhar o conjunto de dados diretamente com a fundação da IMO. Para validar o conjunto de dados, reuniram um grupo de classificação de mais de 30 avaliadores humanos de países como a Arménia, a Rússia, a Ucrânia, o Vietname e a Polónia, que se coordenaram para verificar milhares de soluções.
“A base de dados MathNet tem o potencial de ser um excelente recurso tanto para estudantes como para líderes que procuram novos problemas para trabalhar ou procuram a solução para uma questão difícil”, diz Tanish Patil, vice-líder da IMO da Suíça. “Embora existam outros arquivos de problemas de Olimpíadas (notadamente, os fóruns de Coleções de Concursos no AoPS), esses recursos carecem de sistema de formatação padronizado, soluções verificadas e metadados de problemas importantes que os tópicos e a teoria exigem. Também será interessante ver como esse conjunto de dados é usado para melhorar o desempenho de modelos de raciocínio e se em breve seremos capazes de responder de forma confiável a uma questão importante ao criar novas questões de Olimpíadas: determinar se um problema é verdadeiramente authentic. “
O MathNet também funciona como uma referência rigorosa para o desempenho da IA, e os resultados revelam um quadro mais complicado do que as manchetes recentes sobre as proezas matemáticas da IA podem sugerir. Os modelos fronteiriços fizeram progressos extraordinários: alguns alegadamente alcançaram o desempenho da medalha de ouro na IMO e, em termos de referência padrão, resolvem agora problemas que deixariam a maioria dos seres humanos perplexos. Mas a MathNet mostra que o progresso é desigual. Mesmo o GPT-5, o modelo de melhor desempenho testado, teve uma média de cerca de 69,3% no principal benchmark do MathNet de 6.400 problemas, falhando em quase um em cada três problemas de nível de Olimpíada. E quando os problemas incluem números, o desempenho cai significativamente em todos os aspectos, expondo o raciocínio visible como um ponto fraco consistente até mesmo para os modelos mais capazes.
Vários modelos de código aberto obtiveram pontuação de 0% nos problemas da língua mongol, destacando outra dimensão em que os actuais sistemas de IA são insuficientes, apesar da sua força international.
“Os modelos GPT são igualmente bons em inglês e em outros idiomas”, diz Alshammari. “Mas muitos dos modelos de código aberto falham completamente em línguas menos comuns, como o mongol.”
A diversidade do MathNet também foi projetada para abordar uma limitação mais profunda na forma como os modelos de IA aprendem matemática. Quando os dados de treinamento são direcionados para problemas em inglês e chinês, os modelos absorvem uma pequena fatia da cultura matemática. Um problema combinatório romeno ou um problema brasileiro de teoria dos números podem abordar o mesmo conceito subjacente de um ângulo completamente diferente. A exposição a essa faixa, argumentam os pesquisadores, torna tanto os humanos quanto os sistemas de IA melhores pensadores matemáticos.
Além da resolução de problemas, o MathNet apresenta um benchmark de recuperação que pergunta se os modelos podem reconhecer quando dois problemas compartilham a mesma estrutura matemática subjacente, uma capacidade que é importante tanto para o desenvolvimento da IA quanto para a própria comunidade matemática. Problemas quase duplicados têm aparecido em exames reais da IMO ao longo dos anos porque encontrar equivalências matemáticas entre diferentes notações, linguagens e formatos é genuinamente difícil, mesmo para comitês humanos especializados. Testando oito modelos de incorporação de última geração, os pesquisadores descobriram que mesmo os mais fortes identificaram a correspondência correta apenas cerca de 5% das vezes na primeira tentativa, com os modelos frequentemente classificando problemas estruturalmente não relacionados como mais semelhantes do que problemas equivalentes.
O conjunto de dados também inclui um benchmark de geração aumentada de recuperação, testando se dar a um modelo um problema estruturalmente relacionado antes de solicitar que ele resolva um novo melhora o desempenho. Sim, mas apenas quando o problema recuperado é genuinamente relevante. DeepSeek-V3.2-Speciale ganhou até 12 pontos percentuais com recuperação bem combinada, enquanto a recuperação irrelevante degradou o desempenho em aproximadamente 22% dos casos.
Alshammari escreveu o artigo com Safaei, o engenheiro de IA da HUMAIN, Abrar Zainal, o diretor da KAUST Academy, Sultan Albarakati, e os colegas do MIT CSAIL: o aluno de mestrado Kevin Wen SB ’25; Gerente Principal de Engenharia da Microsoft, Mark Hamilton SM ’22, PhD ’25; e os professores William Freeman e Antonio Torralba. Seu trabalho foi financiado, em parte, pela Schwarzman Faculty of Computing Fellowship e pela Nationwide Science Basis.
MathNet está disponível publicamente em mathnet.csail.mit.edu.