Hindi ko alam na may walang hanggang pag-access sa internet sila. Ito ang nagpapababa ng aking tiwala sa PostTrainBench. Dahil ang mas bagong mga modelo ay may access sa mas magagandang teacher models, mas magagandang datasets, at mas magagandang papel / paraan para sa post-training. Ito ang nagpapataas ng score ng mga pinakabagong modelo. Hindi ko naniniwala na kailangang i-rerun ang bawat modelo kapag may bagong modelo, ngunit naniniwala ako na dapat nilang i-rerun ang isang maliit na set ng anchor models tuwing 1-3 buwan upang masukat ang score inflation.
