
Saya tidak tahu bahwa mereka memiliki akses internet tanpa batas. Ini membuat saya kurang percaya pada PostTrainBench. Karena model-model terbaru memiliki akses ke model guru yang lebih baik, dataset yang lebih baik, serta paper/metode yang lebih baik untuk post-training. Hal ini menaikkan skor model-model terbaru. Saya tidak berpikir perlu menjalankan ulang setiap model ketika model baru ditambahkan, tetapi saya pikir mereka sebaiknya menjalankan ulang sejumlah kecil model acuan setiap 1-3 bulan untuk mengukur besarnya inflasi skor tersebut.
