Чи може ШІ навчитися того, що оптимізувати, на прикладах, а не просто копіювати їх? Надзорне доналаштування (SFT) навчає модель імітувати відповіді експертів. У новій статті представлений метод PARED — метод вирівнювання, який намагається витягнути повторно використовувану нагороду з тих самих демонстрацій. PARED порівнює відповіді експертів із власними відповідями моделі за вибраними характеристиками, такими як корисність, безпечність та тема. Використовуючи ці розбіжності, він навчається явній нагороді, яка потім керує додатковим підсиленням навчання після SFT. Використовуючи 4 000 демонстрацій, згенерованих GPT-5.1, відповіді моделей, навчених за допомогою PARED, були вибрані переважно порівняно з відповідями початкової контрольної точки SFT у 86,2 % і 88,4 % незв’язаних порівнянь за двома підходами оновлення нагороди, за оцінкою Gemini 2.5 Flash. Демонстрації можуть стати корисними не лише для імітації. Вони також можуть допомогти визначити мету, від якої модель продовжує навчатися після SFT.