Ensinar uma IA a escrever código que funcione é uma coisa. Ensinar a escrever código que funcione rapidamente é, aparentemente, uma besta completamente diferente.
Um novo artigo da equipe FAIR da Meta AI, publicado em 29 de julho, revela que estender o aprendizado por reforço da correção do código para a otimização da velocidade do código está repleto de problemas que abordagens padrão simplesmente não conseguem resolver. Os culpados: medições de tempo ruidosas, recompensas esparsas e algoritmos que desmoronam quando você os pede para se importar com desempenho, e não apenas com precisão.
O problema com a velocidade
Quando você mede se o código produz a resposta correta, obtém um sinal binário limpo. Mas medir quão rápido o código é executado é complicado. Execute o mesmo código duas vezes na mesma máquina e você obterá tempos de execução ligeiramente diferentes. Processos em segundo plano, agendamento de CPU, alocação de memória — todos introduzem ruído nas medições de tempo.
A equipe do Meta descobriu que a Otimização Generalizada de Política de Reforço, ou GRPO, um algoritmo padrão no conjunto de ferramentas de aprendizado por reforço, torna-se instável quando você fornece a ela esse tipo de medição de velocidade ruidosa.
A escassez de recompensas agrava o problema. A maioria das otimizações de código produz melhorias de velocidade marginais, o que significa que o modelo raramente recebe um sinal positivo forte indicando “sim, essa alteração tornou as coisas mais rápidas.”
DMC-Optim: um novo padrão para um novo problema
Para enfrentar esses desafios, os pesquisadores desenvolveram o DMC-Optim, um benchmark com um ambiente de sandbox calibrado e um pipeline de treinamento especializado. O sistema combina recompensas por correção e velocidade de execução dentro de um simulador offline, criando essencialmente um ambiente controlado onde o ruído de tempo pode ser gerenciado, em vez de ignorado.
Os resultados são difíceis de contestar. A taxa de aprovação do Qwen 2.5 7B saltou de 18,0% para 31,3%, um aumento relativo de cerca de 74%. O CWM 32B viu sua taxa de aprovação subir de 30,7% para 50,4%, uma melhoria relativa de 64%. No benchmark LCB, o CWM 32B treinado com esta abordagem superou as comparações de velocidade mediana 83% das vezes, em comparação com modelos treinados com aprendizado por reforço padrão a partir de recompensas verificáveis.
Em condições de temporização degradadas, onde o ruído de medição é deliberadamente amplificado, o benchmark DMC-Optim demonstrou melhorias de desempenho entre 100% e 200% em relação aos métodos padrão.
O artigo foi autorado por Pierre Chambon, Kunhao Zheng, Juliette Decugis, Benoît Sagot e Gabriel Synnaeve, todos da Meta AI.