OpenAI responde: GPT-5.6 Sol anuncia ventaja frente a Opus 5 en ARC-AGI-3, pero con condiciones

Resumen de la disputa

Según The Decoder, OpenAI afirma que GPT-5.6 Sol logra un 38,3% en ARC-AGI-3 cuando se utilizan funciones de su propia API y dos ajustes adicionales. Con la configuración oficial del test, el mismo modelo alcanzó solo un 7,8%.

Qué ha pasado

La reivindicación de OpenAI coloca a GPT-5.6 Sol por delante de Anthropic Opus 5 en ese benchmark concreto, pero el detalle clave es que la evaluación usó características y parámetros de la API de OpenAI que no forman parte de la configuración neutral del ARC Prize. ARC Prize sostiene que su entorno de test es proveedor-neutral; OpenAI señala que se pudo haber usado una versión antigua de la API que distorsionó la comparación.

Implicaciones prácticas

Esto no es solo una discusión técnica entre equipos: afecta a cómo valoramos el rendimiento de modelos en contextos reales. Cuando un benchmark admite variantes de API o ajustes propietarios, se complica la interpretación de resultados para empresas que planean integrar IA en productos, automatizar procesos o estimar costes y dependencias de proveedor.

Sobre la neutralidad y la reproducibilidad

La controversia subraya dos riesgos: primero, que benchmarks públicos pierdan neutralidad si no controlan versiones de API y opciones de configuración; segundo, que la reproducibilidad se vuelva frágil en un ecosistema con lanzamientos rápidos de APIs y ajustes finos. Para quienes toman decisiones de negocio y contratación de servicios de IA, esto complica comparar coste, rendimiento y seguridad entre OpenAI, Anthropic y otros.

Impacto en adopción, empleo y estrategia

Para equipos técnicos y responsables de producto, la moraleja es clara: validar modelos en entornos propios y con métricas alineadas a casos de uso reales. Las diferencias en benchmarks pueden influir en elecciones de proveedor, en la arquitectura de automatización y en la previsión de costes operativos. No es lo mismo confiar en un resultado reportado bajo ajustes propietarios que medir el rendimiento en integraciones controladas.

Qué seguiremos vigilando

Nos interesa ver si ARC Prize actualiza su entorno de test o publica registros de versión para garantizar comparaciones limpias, y si proveedores como OpenAI y Anthropic acuerdan estándares de evaluación más transparentes. Mientras tanto, la recomendación para equipos que evaluamos desde la perspectiva de producto y negocio es tratar estos resultados como indicativos, no definitivos, y priorizar pruebas reproducibles en escenarios de producción.

Cita breve: “La comparación entre proveedores exige controles estrictos de versión y configuración para que los resultados sean realmente comparables”, y esto es justo lo que está en juego en la disputa sobre ARC-AGI-3.