Hindi na basahin ng mga tao sa frontline lab ang mga papel?
Isang researcher ng OpenAI ay nag-scan sa tatlong top conference: Masyadong maraming overhype at pagkakamali!
Ang dahilan ay isang papel sa ICLR na may napakagandang epekto na tila hindi maunawaan, at matapos suriin ng mga netizen, natuklasan nila ang "lihim".
Nag-evolve na ba ang pagpapalabas ng papel sa mga top conference hanggang sa ganito?
Una, tingnan kung ang code ay open source; pangalawa, tingnan kung may mga "maliit na trik" sa mga paraan ng eksperimento; at pangatlo, tingnan kung ang mga resulta na nakamit ay makakatutulong sa pangunahing konklusyon—pagkatapos ng lahat ng mga tanong na ito, ilang papeles sa top-tier conference ang makakapaglaban sa pagsusuri?
May totoo nga na gumawa nito.
Sa 105, lamang ang 8 ang “kwalipikado”
Noong Hulyo ng taong ito, ang SAI, na itinatag ni Tan Chenhao, associate professor ng Computer Science at Data Science sa University of Chicago, ay inilabas ang isang malaking “experimental review”.
Ang kanilang napili ay ang lahat ng 168 na oral na papel sa ICML 2026.
Kabuuang 23,918 ang mga pagpapadala sa ICML na ito, at ang 168 lamang ang nakakuha ng karapatan para sa Oral, na umabot sa halos 0.7%.
Sa ibang salita, ang SAI ay sinusuri ang pinakamataas na antas mula sa higit sa 20,000 na pagpapadala.
Bukod sa pagbabasa ng papel, disenyo ng eksperimento, at mga resulta tulad ng tradisyonal na reviewer, ang SAI Review ay magdadownload ng code, model, at data, magkakaroon ng environment at magpapatakbo ng mga eksperimento, at hahambingin ang mga resulta sa bawat detalye sa orihinal na papel.
Sinuri ng SAI ang lahat ng 168 na Oral, kung saan lamang ang 104 ay may bukas na code ng papel, at natapos ang 105 na buong replication.
Sa kanilang lahat, lamang ang 34 ang nakapag-reproduce ng higit sa 40% ng mga klaim; natira lamang ang 8 na may porsyento ng pag-reproduce na higit sa 80%.
Anuman ang bilang ng mga verifiable na pahayag na kasama sa bawat papel—isa, tatlo, o lima—ang median na score ng reproducibility ay nananatili sa 28%–30%, at ang kabuuang distribusyon ay hindi nagbago nang malaki.
Pagkatapos tanggalin ang mga eksperimento na hindi nag-run, na nagsara nang maaga, o lumampas sa kakayahan ng hardware, ang median na score ng reproduction ay nananatiling tanging 42%–50%; kapag ang bawat papel ay naglalaman ng hindi bababa sa 3 mga verifiable na pahayag, ang median ay nanatili sa 42%.
Nakakatagpo ng mga karaniwang problema sa replication: hindi gumagana ang code, nawawalang files, hindi kumpleto ang paliwanag, nasira ang mga dependency, o ang mga resulta ng code ay hindi sumasalamin sa paper.
Mayroon pa apat na papel na nakabatay sa mga modelo na napanatili na. Kahit anong gastos o oras ang gugugulin ng mga susunod na mananaliksik, imposible na makuha ang parehong resulta.
Isinama ni SAI ang dalawang mas espesipikong halimbawa.
Isang papel ang nagpapakita ng “pagsasabay sa 0.77% ng mga parameter ng base model” bilang pangunahing pagkakataon, ngunit ang actual na checkpoint na ipinakalabas ay tinuruan sa 6.31% ng mga parameter, na halos 8 beses ang bilang ng ipinahayag.
Ipinaliwanag ng isang iba pang papel ang isang talaan ng kumpiyansa na iskor ng judge model, ngunit hindi makikita ang judge model sa open-source code, at walang script na makakapagcompute ng mga numero sa talaan.
Mababang kalidad na papel, mataas ang kita, mababang panganib
Ang mga resulta ng pag-uulit ng SAI ay maaaring sabihin na lubos na masama.
Mas masama pa, ang mga problema na natuklasan dito ay mga problema na "may kondisyon para makuha".
Ang mga papel na walang code ay diretso na «hindi mababagabag».
Kahit na buong code ay nakapubliko, ang oras, pwersa, at pera na kailangan upang patotohanan ang isang papel ay malaki, at ang resulta ay hindi kasing kahusayan, hindi alam kung gaano kahirap.
Batay sa pagtatantiya ni SAI mula sa publikong on-demand na presyo ng Google Cloud, ang median na gastos para maulit ang isang ICML Oral paper ay humigit-kumulang $8,900. Sa 105 na papel, 17 ang hihigit sa $100,000, at ang pinakamahal ay malapit sa $2.2 milyon.
Mas mahirap na repikre ang isang papel kung mas marami itong nakasalalay sa malaking computing power.
Walang code, walang paraan para i-check ng iba; kahit may code, hindi rin siguradong kayang bayaran ng iba ang gastos na ito.
Kaya posible na makapasa nang maayos sa pagsusuri, makakuha ng mga pagbanggit, at isulat sa resume ang isang papel na may problema, upang makakuha ng pagtanggap, posisyon sa akademya, o mga pagkakataon sa malalaking laboratorio.
May ilang beses na natuklasan na ang mga resulta ay hindi tama, at ang mga sesyon ay kadalasang hindi muling sinusuri, at ang mga papel ay hindi laging tinatanggal.
Ito ang sinasabi ng mga komento na “may kita sa paggawa ng masamang pag-aaral, ngunit halos walang gastos.”
Hindi binabasa ang papel, pero kinakailangan ang papel sa paghahanap ng trabaho.
Sa larangan ng malalaking modelo, mayroong maraming tunay na mahahalagang pag-unlad na hindi na lumalabas bilang mga papel.
Bilang isang inhinyero ng OpenAI na nasa harap ng industriya, natural lamang na magkaroon ng ganitong damdamin. Dahil sa mas sapat na computing power, mas mabilis na feedback sa mga eksperimento, at malaking dami ng hindi pampublikong internal resulta, mayroon kang "hindi kailangang basahin ang mga papel" na katotohanan.
Pero ang sabi nito, medyo kakaiba naman.
Isang komento ay nagtatawa sa mga taong sa tech companies na ganoon ay “nag-paakyat at tinanggal ang hagdan”: hinuhuli ang mga siyentipiko mula sa mga unibersidad, nakabatay sa mga natapos na resulta na nakalikom sa akademikong komunidad, kinukunan ang mga talento at GPU sa mas mataas na presyo, kung saan mas mababa na ang kanilang pagtanggap sa peer review, at sa huli ay nagpahayag na ang akademikong pananaliksik ay “karamihan ay scam”.
Medyo matigas, pero totoo naman.
Ang mga tao sa mga advanced na laboratorio na ito ay 'hindi kailangang basahin ang mga papel', ngunit kailangan pa rin ng mga nais makiisa na magpadala ng papel.
Para sa mga estudyante at batang mananaliksik na walang karanasan sa industriya, ang mga papel sa mga pinakamataas na konperensya ay patuloy na ang pinakadirektang patunay ng kakayahan sa pag-aaral.
Ang pag-apply para sa doktorado, paghahanap ng posisyon sa akademya, at pagpasok sa mga avant-garde na laboratorio tulad ng OpenAI ay nangangailangan ng pagkakaroon ng pansin sa pamamagitan ng mga papel.
Ang mga propesyonal sa industriya ay nagpapakita ng pagkakaroon ng pagmamaliw sa mga papel pagkatapos makapasok sa malalaking laboratorio, ngunit patuloy pa ring gumagamit ng bilang ng mga papel, antas ng mga konperensya, at mga resulta sa pagkakasangkot upang piliin ang mga nasa labas.
Ang papel ay nasa isang mahirap na posisyon: ang kredibilidad nito sa pagpapalaganap ng kaalaman ay pinag-uusapan, ngunit ang halaga nito sa pakikibaka para sa mga talento ay hindi nawala.
Kaya ang pahayag na “Ang malaking laboratorio ay hindi na nagbabasa ng mga papel” ay tila medyo mataas ang ulo at mapagmataas. Dahil ang mga may-ari ng karapatan na hindi magbasa ng mga papel ay karaniwang nakalampas na sa hangganan na iyon sa pamamagitan ng mga papel.
Of course, not all students are meticulously crafted academic villains.
Isang mananaliksik sa unibersidad ay nagjoke na mas gusto niyang may kakayahan na magsulat ng isang papel na pinapalaki o naglalaman ng kasinungalingan ang kanyang mga mag-aaral.
May mga tao na 'nagpapakita bilang isang akademikong manlilinlang', habang may iba pang nagtitiyaga sa LaTeX.
Mga link na pang-referensya:
https://x.com/MathewShen42/status/2084465434506768867
https://x.com/kellerjordan0/status/2084721463089902074
https://sai.science/blog/how-much-science-is-verifiable
https://x.com/mengyer/status/2085134204786921886
Nakukuha ang artikulong ito mula sa WeChat public account na "Machine Heart" (ID: almosthuman2014), may-akda: Machine Heart