Bisakah AI belajar apa yang perlu dioptimalkan dari contoh-contoh, bukan hanya menirunya? Supervised fine-tuning (SFT) mengajarkan model dengan memintanya meniru jawaban ahli. Sebuah makalah baru memperkenalkan PARED, metode alignment yang berusaha mengekstrak reward yang dapat digunakan kembali dari demonstrasi yang sama tersebut. PARED membandingkan jawaban ahli dengan respons model sendiri berdasarkan fitur-fitur tertentu seperti kebermanfaatan, ketidakberbahayaan, dan topik. Ia menggunakan perbedaan-perbedaan ini untuk mempelajari reward eksplisit, yang kemudian menjadi panduan untuk reinforcement learning tambahan setelah SFT. Menggunakan 4.000 demonstrasi yang dihasilkan oleh GPT-5.1, respons dari model yang dilatih dengan PARED lebih disukai daripada respons dari checkpoint SFT asli dalam 86,2% dan 88,4% dari perbandingan non-seimbang di bawah dua pendekatan pembaruan reward, sebagaimana dinilai oleh Gemini 2.5 Flash. Demonstrasi bisa saja berguna lebih dari sekadar peniruan. Mereka juga dapat membantu mendefinisikan tujuan yang terus dipelajari model setelah SFT.