Enseñarle a una IA a escribir código que funcione es una cosa. Enseñarle a escribir código que funcione rápido es, aparentemente, una bestia completamente diferente.
Un nuevo artículo del equipo FAIR de Meta AI, publicado el 29 de julio, revela que extender el aprendizaje por refuerzo desde la corrección del código hasta la optimización de la velocidad del código está lleno de problemas que los enfoques estándar simplemente no pueden manejar. Los responsables: mediciones de tiempo ruidosas, recompensas escasas y algoritmos que se desmoronan cuando se les pide que se preocupen por el rendimiento, no solo por la precisión.
El problema con la velocidad
Cuando mides si el código produce la respuesta correcta, obtienes una señal binaria limpia. Pero medir qué tan rápido se ejecuta el código es complicado. Ejecuta el mismo código dos veces en la misma máquina y obtendrás tiempos de ejecución ligeramente diferentes. Los procesos en segundo plano, la programación de la CPU, la asignación de memoria, todo introduce ruido en las mediciones de tiempo.
El equipo de Meta descubrió que la Optimización Generalizada de Políticas por Refuerzo, o GRPO, un algoritmo estándar en el kit de herramientas de aprendizaje por refuerzo, se vuelve inestable cuando se le proporcionan este tipo de mediciones de velocidad ruidosas.
La escasez de recompensas agrava el problema. La mayoría de las optimizaciones de código producen mejoras marginales de velocidad, lo que significa que el modelo rara vez recibe una señal positiva fuerte que le diga “sí, ese cambio hizo que las cosas fueran más rápidas”.
DMC-Optim: un nuevo punto de referencia para un nuevo problema
Para abordar estos desafíos, los investigadores desarrollaron DMC-Optim, un benchmark que incluye un entorno de simulación calibrado y un pipeline de entrenamiento especializado. El sistema combina recompensas por corrección y velocidad de ejecución dentro de un simulador offline, creando esencialmente un entorno controlado donde el ruido de temporización puede gestionarse en lugar de ignorarse.
Los resultados son difíciles de discutir. La tasa de aprobación de Qwen 2.5 7B aumentó del 18,0% al 31,3%, una mejora relativa de aproximadamente el 74%. CWM 32B vio su tasa de aprobación aumentar del 30,7% al 50,4%, una ganancia relativa del 64%. En el benchmark LCB, CWM 32B entrenado con este enfoque superó las comparaciones de velocidad mediana el 83% de las veces, en comparación con modelos entrenados con aprendizaje por refuerzo estándar a partir de recompensas verificables.
Bajo condiciones de temporización degradadas, donde el ruido de medición se amplifica deliberadamente, el benchmark DMC-Optim demostró mejoras de rendimiento entre 100% y 200% respecto a los métodos estándar.
El artículo fue escrito por Pierre Chambon, Kunhao Zheng, Juliette Decugis, Benoît Sagot y Gabriel Synnaeve, todos de Meta AI.