Bagong papel ay nagmumungkahi ng end-to-end training para sa mga generative model sa pamamagitan ng explorative modeling

Noong 2012, nagwagi nang malakas si AlexNet at nagtapos sa isang panahon. Bago ito, ang pagkilala sa imahe ay nangangailangan ng paggawa ng mga proseso ng pagkuha ng katangian na disenyo ng tao; ipinakita ni AlexNet ang isang bagay na paulit-ulit na pinatotohanan: ang pagbibigay ng buong gawain sa modelo para matutunan nito nang buo ay halos laging nakakalaban sa mga proseso ng pagkakasunod-sunod na disenyo ng tao.

Mula sa image classification papunta sa object detection at pagkatapos ay image segmentation, bawat paglakas ng deep learning ay may iisang pangungusap sa likod nito: hayaan itong matuto nang buong-husay.

Ang tanging larangan na laging exception ay ang mga generative model.

Hindi end-to-end ang pinakamalakas at pinakamalawak na generative model ngayon (kung ito ay autoregressive o diffusion model).

Nagtratrain sila para lamang makapaghula ng “isang maliit na hakbang,” ngunit sa pag-iisip, kailangan nilang paulit-ulitin ang hakbang na ito ng mga sandaang libo-libo beses tulad ng isang recurrent network.

Hindi ginagamit ang parehong paraan ng pagkuha para sa pagtuturo at pagpapatakbo. Ang pagkakabawas na ito ay nagdudulot ng isang lumang problema: ang bawat pagkakamali sa bawat hakbang ay ipinapasa sa susunod, kung saan ang input ay paulit-ulit na naglalayo mula sa distribusyon na nakikita sa pagtuturo, at ang mga pagkakamali ay nakakalikom nang patuloy. Sa akademikong terminolohiya, tinatawag itong “exposure bias”.

Sa ibang salita, ang pinakamahalagang aral sa deep learning na "end-to-end is better" ay hindi pa talaga nakamit sa mga generative model sa loob ng labing-isang taon.

At sa huling panahon, isang papel mula sa UIUC at Harvard University ay sumubok na punan ang huling piraso ng puzzle.

Ibinigay ng may-akda ang pangalan na Explorative Modeling (explorative modeling) sa bagong paradigma, na may abreviasyon na XM. Ang ideya nito ay simpleng parang walang kahulugan, ngunit nagtuturo sa isang malakas na konklusyon: maliban sa mga parameter at data, mayroon pa pong ikatlong aksis na maaaring palakasin ng mga generative model.

Website ng proyekto: https://explorative-modeling.github.io

Link ng papel: https://arxiv.org/abs/2607.27372

Code repository: https://github.com/alexiglad/XM

Upang maunawaan kung ano ang lutasin ng papel na ito, kailangan munang maunawaan kung bakit mahirap ang pagbuo.

Sa karaniwang supervised learning (tulad ng classification), mayroon lamang isang tamang sagot sa bawat input, sapat na ang modelo na matutunan ang isang tiyak na pagkakaugnay.

Ngunit ang pagbuo ay iba. Kapag pinag-uutosan mo ang modelo na “gumawa ng isang aso,” ang tamang sagot ay maaaring may walang hanggang bilang. Ang mga legal na output na ito ay mga mode sa loob ng distribution—bawat isang hiwalay na tuktok sa distribution. Mahirap mag-generate dahil kailangan mong hawakan ang maraming mode nang sabay-sabay.

Ang problema ay ang mga pangunahing generative model ay tinuturuan gamit ang reconstruction loss (tulad ng squared error). Kapag isang input ay random na isinama ng maraming iba’t ibang legal na target, ang pinakamabuting solusyon na maaaring ibigay ng reconstruction loss ay ang average ng mga target na ito. At para sa karamihan sa mga data, ang average ay hindi nasa data manifold, kundi nasa gitna ng ilang mode, at hindi talaga katulad ng anumang isa sa kanila.

Ang larawan sa papel ay lubos na malinaw: habang pinapayagan ang modelo na direktang mag-regress sa end-to-end na paraan nang walang anumang teknik, ang tatlong grupo ng puntos ay haharapin nito bilang isang punto sa gitna, ang isang litrato ng aso ay magiging isang malabo na balat, at ang isang pangungusap ay magiging paulit-ulit na ang «the». Ito ay tinatawag na «mode blurring», kung saan ang pinakamahusay na solusyon ay ang sagot na pinakamaliit na katulad ng totoong data.

Paano iniiwasan ng kasalukuyang modelo ang problema? Sagot: hihiwalayin ang “pagbuo” sa mga maliit na bahagi. Ang autoregressive ay nagbabawas ng isang elemento sa isang pagkakataon, ang diffusion ay nag-aalis ng kaunting ingay sa isang pagkakataon, at ang layunin ng bawat maliit na hakbang ay na-cut sa halos isang mode lamang, kaya hindi na mag-aaverage ang reconstruction loss.

Ang proseso ng “paghihiwalay at pagbuo” na ito ay ang dahilan kung bakit ang diffusion at autoregressive ay makakagawa ng mataas na kalidad na sample, ngunit ito rin ang nagiging dahilan kung bakit hindi makakagawa ng end-to-end ang modelo.

Dinadala ng may-akda ang isang mahalagang tanong: mayroon lang dalawang bagay na maaaring i-decompose sa isang generative model, kung paano ito ginagawa at kung paano ito tinuturuan.

Kung ang pagpapartido sa proseso ay magdudulot ng pagkawala ng end-to-end, bakit hindi mo na lang ipapartido ang pagtuturo?

Ang Explorative Modeling ay nagtatanggal sa sariling training cycle.

Maaaring ipaliwanag ang kanyang mekanismo sa isang pangungusap: Sa bawat hakbang ng pagtuturo, ang modelo ay hindi na naglalabas ng isang sample lamang upang pagsamahin ang target, kundi naglalabas ng K na kandidato, at pinipili lamang ang pinakamalapit sa totoong data upang matutunan at i-backpropagate ang gradient. Ipinakita ng papel ito bilang isang for loop na 3 hanggang 5 na linya, simpleng masyadong para makapag-iiwan ng pagdududa (Algorithm 1).

Bakit nakakasolusyon ang gawaing ito sa pagkakalito ng mode?

Isang iba’t ibang sitwasyon sa pang-araw-araw na buhay: maghula kung saan matatagpuan ang mga darta. Kung pinapayagan ka lang maghula ng isang beses, ang pinakamahusay na estratehiya ay maghula sa average na posisyon ng lahat ng darta—ngunit madalas, iyon ay isang lugar sa target na kakaunti lang ang darta na nakaputol. Kung gayon, kung pinapayagan ka maghula ng K beses, at tanging ang pinakamalapit na hula ang iskoring, agad na nagbabago ang pinakamahusay na estratehiya: iisipin mo na i-spread ang iyong mga hula upang bawat isa ay makapag-coverage sa isang iba’t ibang grupo ng mga punto ng pagkakaroon.

Sakto rin sa model. Kapag pinapayagan itong mag-explore ng K na mga kandidato, magkakaroon ng iba’t ibang input noise na “mamamalagi” sa bawat iba’t ibang mode, kesa na lahat ay magkakalat sa gitna para mag-averaging. Gaano kalaki ang pag-explore, ganoon din ang bilang ng mga mode na maipapakita nang tama ng model.

Inilah ng may-akda ang mahabang panahon na pinagkakalimutan na kakayahang ito: ang generative expressivity, at ipinahiwatig niya na ito ay tinukoy ng sariling training objective—anuman ang dami ng parameter at data na iyong idadagdag, hindi ito lalago nang sarili nito.

Ito rin ang nagpapaliwanag sa isang kakaibang phenomenon na matagal nang napapansin ng industriya: bakit ang pinakamahusay na mga modelo ngayon ay napakadepende sa teknolohiya ng „guidance“.

Ang so-called classifier-free guidance ay nagpapalayo sa pagtantiya mula sa ambigong average. Ngunit kung ang modelo ay hindi nagkakamali sa sarili nito, bakit kailangang i-push ito? Ang paggabay ay magiging kapaki-pakinabang dahil sa sakit na dulot ng ambigong mode.

Ang papel ay nagbigay din ng dalawang direksyon ng pagpapalawak: ang Forward at ang Reverse. Ang unang direksyon ay nagtatatag ng isang totoong layunin at naghahanap ng pinakamalapit na output sa sariling paggawa, na mas nakatuon sa “kabuuang pagkakakita” (pagsasakop ng lahat ng mode); samantala, ang ikalawa ay nagtatatag ng isang output at naghahanap ng pinakamalapit na datos sa totoong dataset, na mas nakatuon sa “tamang pagkakakita,” at halos walang dagdag na gastos sa computing power, ngunit may panganib na maaaring maging limitado sa ilang mode lamang. Ang dalawa ay komplemento, at maaaring gamitin nang sabay.

Ang pinakamalakas na konklusyon ng papel na ito ay ang pagpapatotoo ng "exploration" bilang isang tunay na scaling axis.

Isinama ng may-akda ang pagpapalawak sa diffusion/stream models, Jumpy models, at masked diffusion language models, at nakita ang patuloy na pagpapabuti ng performance sa tatlong modalidad: imahe, video, at wika. Mas mahalaga pa ang trend ng benepisyo batay sa sukat: mas malaki ang pagpapalawak, mas malakas ang pagtaas.

Ang mga numero na ibinigay sa papel ay: Habang tumataas ang laki ng data, ang benepisyo mula sa pagpapalawak ay umabot mula sa 7% patungo sa 36%; habang lumalaki ang modelo, ito ay umabot mula sa 13% patungo sa 23%; kapag tumindi ang computing power ng tatlong beses, ang efficiency gain ay tumindi nang higit sa dalawang beses.

Sa kahusayan, inilipat nito ang FLOP efficiency ng 4.1 beses, sample efficiency ng 6.2 beses, at parameter efficiency ng 47%. Sa paggawa ng imahe, itinuloy nito ang pinakamalakas na RAE recipe sa ImageNet na may FID na 1.43 na walang guidance, malapit na sa pinakamahusay na antas sa industriya.

Isang malaking modelo na nagtataya ng 5 mode, kahit na mas lalong mabilis kaysa sa isang XLarge na modelo na may 47% higit pang parameter ngunit walang pagtataya.

Hindi maliit ang kahulugan ng direksyong ito. Ang paliwanag ng may-akda ay: sa maliit na iskala, ang modelo ay pangunahing hinahadlangan ng mga parameter at data, at ang pagbuo ng ekspresyon ay hindi pa bottleneck; ngunit kapag pinakalaki na ang mga parameter at data hanggang sa 'hindi na ito limitasyon', ang pagbuo ng ekspresyon ay lalong magiging totoong bottleneck. At ito ang eksaktong bagay na sinusubukang palakasin nang direkta.

Sa pag-uugnay sa kasalukuyang pag-train ng mga tunay na base model, na gumagamit ng computing power na mas mataas ng apat na antas ng pagkakaiba kaysa sa pinakamalaking eksperimento sa papel, naniniwala ang mga may-akda na ang mga numero na isinampa sa papel ay malamang ay ang pinakamababang limitasyon ng mga kita sa mas malaking iskala.

Ano ang mangyayari kung ipapush ang pag-aaral hanggang sa limitasyon? Ang sagot ay bumabalik sa unang pangungusap: ang generative model ay nakakamit na ang end-to-end.

Ang may-akda ay ginamit ang XM bilang isang independiyenteng end-to-end na modelo para sa mga gawain ng pagkontrol sa robot. Sa behavior cloning, ang kanilang explorative policy ay nakamit ang parehong antas o higit pa sa diffusion policy na nangangailangan ng 100 beses na forward pass, gamit lamang isang beses na forward pass. Sa goal-directed world modeling, ang explorative world model ay nakamit ng mas mabuting average performance gamit ang 16 hanggang 256 beses na mas kaunting computing power kaysa sa diffuser.

Malinaw ang pinagmulan ng pagkakaiba: ang diffusion models ay gumagamit ng mga sandaling higit sa isang daan sa pag-iisip upang makamit ang pagkakakilanlan, habang ang end-to-end na XM ay naglilipat ng gantimpala sa pagpapalawak sa panahon ng pagtuturo, kaya ang pag-iisip ay nangangailangan lamang ng isang forward pass. Ang paghahandle ng maraming mode—isang parehong bagay—ay maaaring maging mabagal sa pag-iisip o maaaring masagot nang buo sa panahon ng pagtuturo; pumili ang papel na ito ng huli.

Hindi bagong mukha ang pangunahing may-akda ng papel na si Alexi Gladstone. Noong July 2025, ang kanyang pinamumunuan na Energy-Based Transformers (EBT) ay nagdulot ng malaking diskusyon sa mga social media platform.

Ang trabaho ay nag-uugnay na unang beses ay «nagtagumpay» sa paglalawak ng curve ng standard feedforward Transformer sa maraming dimensyon, at sinubukan na ipaunlad ang «System 2 thinking» sa anumang mode. Tingnan ang ulat ng Machine Heart: «May Bagong Paradigma na Dumating! Ang Bagong Energy Model ay Bumabasag sa Hangganan ng Transformer++ at 35% Mas Mabilis ang Paglalawak sa Pagsasanay».

Ang Explorative Modeling ay patuloy sa kanyang karaniwang pag-iisip: lahat ay nagtatanong kung "kaya ba ng modelong gawin ang mga bagay na hindi kayang gawin ng isang beses na forward pass sa pamamagitan ng isang paraan ng paghahanap at pagpapalawak." At mas nagtatayo ang papel na ito sa isang iba pang teorya na kanyang nilikha kasama ang kanyang mga co-author (Yilun Du at Heng Ji), na tinatawag na Mode Forcing. Kinikilala ng papel na dahil sa teoryang ito ang karamihan sa mga resulta ng XM ay unang hinulaan ng teorya bago ito patunayan sa eksperimento—isang pagkakataon na hindi karaniwan sa larangan ng deep learning kung saan ang karaniwan ay "gawin muna ang eksperimento, tapos ipaliwanag pagkatapos."

Akin rin ng may-akda ang pagkilala sa mga limitasyon: ang ideya ng best-of-K ay hindi bagong bagay, at marami nang ginawa ito dati; ang totoong kontribusyon nila ay ang pag-unawa nang malinaw kung ano ang ginagawa ng simpleng loop na ito: ito ay diretso na pinapalakas ang ekspresyong panglikha nang hindi hihiwalay ang proseso ng paglikha.

Bukod dito, ang autoregressive language model ay kasalukuyang nananatiling pinakamahirap na hamon, at ang pure end-to-end Forward XM ay masyadong mahal sa napakaraming mode na distribusyon (tulad ng image generation), at ang lahat ng ito ay iniwan para sa susunod na mga gawain.

Sa loob ng mahigit sa sampung taon, naging karaniwan na natin ang paggamit ng dalawang knob upang ayusin ang mga generative model: gawin itong mas malaki at bigyan ito ng higit pang data.

Ang ikatlong knob na ipinapresenta ng papel ay medyo simpleng: pahintulutan ang modelo na mag-guess nang maraming beses at panatilihin lang ang pinakamahusay. Ngunit kung ang trend na ito ay totoo, habang patuloy na lumalaki ang sukat, ang dalawang unang knob ay darating sa kanilang limitasyon, samantalang ang ikatlo ay bago lang nagsisimula.

Link sa pagtitingin

https://x.com/AlexiGlad/status/2083230922196107288

Nakapost sa WeChat public account na “Machine Heart” (ID: almosthuman2014), may-akda: Panda