我原本不知道他們擁有無限制的網際網路存取權限。 這讓我對 PostTrainBench 的信任度降低。 因為較新的模型能使用更好的教師模型、更佳的資料集,以及更先進的後訓練方法與論文。 這導致最新模型的分數被抬高。 我不認為每次新增新模型時都需要重新運行所有模型,但我認為他們應該每 1–3 個月重新運行一組關鍵模型,以量化這種分數膨脹現象。