En mayo de 2025, Epoch AI organizó una competencia fascinante en el MIT para responder una pregunta clave: ¿es la inteligencia artificial (IA) ya sobrehumana en matemáticas avanzadas? En este evento, el modelo de IA o4-mini-medium se enfrentó a equipos de matemáticos humanos en el benchmark FrontierMath, diseñado para probar habilidades de razonamiento matemático en campos como la geometría algebraica y la teoría de números. A continuación, analizamos los resultados, el diseño de la competencia y lo que esto significa para el futuro de la IA en las matemáticas.
¿Qué es FrontierMath y cómo se diseñó la competencia?
FrontierMath es un benchmark de problemas matemáticos originales creado con la colaboración de más de 70 matemáticos. A diferencia de otros benchmarks como GSM-8k o MATH, FrontierMath incluye problemas que abarcan tres niveles de dificultad: desde problemas comparables a los de la Olimpiada Internacional de Matemáticas (IMO) hasta desafíos que requieren horas de trabajo por parte de expertos.
En la competencia del MIT, 40 matemáticos, divididos en equipos de cuatro o cinco, tuvieron 4.5 horas para resolver 23 problemas adaptados a sus áreas de experiencia. El objetivo era evaluar el razonamiento puro, no el conocimiento previo, lo que permitió una comparación justa entre humanos y la IA.
Resultados: o4-mini-medium frente a los humanos
Los resultados fueron sorprendentes:
- o4-mini-medium resolvió un 22% de los problemas.
- El equipo humano promedio resolvió un 19%.
- Todos los equipos humanos juntos resolvieron un 35%, mostrando la ventaja de la colaboración humana.
Aunque o4-mini-medium superó a la mayoría de los equipos humanos, los dos mejores equipos humanos lo superaron, y cada problema que la IA resolvió también fue resuelto por al menos un equipo humano. Esto indica que, aunque la IA es competitiva, aún no es claramente sobrehumana en este ámbito.
«Si la línea base humana es del 30-50%, es probable que la IA sea sobrehumana para finales de 2025», predice Epoch AI.
Progreso de la IA en matemáticas: Un salto significativo
El progreso de la IA en razonamiento matemático es notable. Antes del modelo o3 de OpenAI, las IAs resolvían menos del 2% de los problemas de FrontierMath. Con o3, el rendimiento subió al 25%, y o4-mini-medium mantuvo un nivel competitivo con un 22% en esta competencia. Esto sugiere que los modelos de IA están evolucionando rápidamente para manejar problemas que requieren un razonamiento profundo y estructurado.
En comparación, en benchmarks más simples como GSM-8k, los modelos actuales alcanzan casi un 100%, pero FrontierMath representa un desafío mucho mayor, más representativo de las matemáticas avanzadas.
Limitaciones y preguntas pendientes
A pesar de los resultados, hay limitaciones importantes:
- La línea base humana para el benchmark completo de FrontierMath no está clara, con estimaciones entre un 30% y un 50%, pero estas cifras son inciertas.
- No se proporcionó un desglose del rendimiento por niveles de dificultad (Tiers 1, 2 y 3), lo que habría ayudado a entender si la IA tiene más dificultades con problemas fundamentales o especializados.
- La elección de o4-mini-medium en lugar de modelos más avanzados como o4-high plantea preguntas sobre el potencial real de la IA en este contexto.
El futuro de la IA en las matemáticas
Esta competencia marca un hito en el desarrollo de la IA para el razonamiento matemático. Si las predicciones de Epoch AI son correctas, podríamos ver modelos de IA superando a los humanos en FrontierMath antes de que termine 2025. Esto tendría implicaciones profundas para la investigación matemática, donde la IA podría asistir a los matemáticos o incluso resolver problemas de manera autónoma.
¿Quieres saber más sobre cómo la IA está transformando otras áreas del conocimiento? Lee nuestro artículo sobre los avances de la IA en la ciencia de datos.
Este artículo fue publicado el 30 de mayo de 2025. ¿Qué opinas sobre el futuro de la IA en las matemáticas? ¡Déjanos tu comentario!