AI-generated summary: Ang koponan ng University of Florida ay nag-apply ng newly proven 3D Kakeya conjecture sa pag-train ng malalaking modelo at naglikha ng GeoLAN method upang lutasin ang “black box” problem ng AI. Gumagamit ang paraan ng konsepto ng “sticky Kakeya set” na ipinanganak mula sa patotoo ng Kakeya conjecture upang magbigay ng geometric constraint sa semantic space ng malalaking modelo, at i-organize ang mga konsepto mula sa pag-train upang gawing traceable ang pag-iisip ng AI. Nakamit ang malaking pagpapabuti sa mga modelo tulad ng Llama-3-8B at Gemma-3-4B. Samantala, ang kasalukuyang Fields Medalist na si Jacob Tsimerman ay nag-anunsyo sa araw ng kanyang pagkakatanggap ng parangal na sumali sa OpenAI para sa AI safety, na nagpapakita na ang matematika at AI ay nagkakasama sa isang walang katulad na bilis.

May-akda ng artikulo, pinagkukunan: Leifeng.com

Nakakapag-ugnay ang mga matematiko at ang AI community

Ang mga malinaw na matematikal na resulta sa antas ng puro matematika ay diretso nang nailapat sa unahan ng pagtatrain ng malalaking modelo.

Isang author sa Xiaohongshu na si Z9 ay natuklasan habang binabasa ang isang papel na ang bagong nailabas na Three-Dimensional Kakeya Conjecture ay naisasama na sa proseso ng pag-train ng neural network ng isang team mula sa University of Florida upang lutasin ang “black box problem” ng malalaking modelo.

Ang kanilang papel ay may pamagat na “GeoLAN: Geometric Learning of Latent Explanatory Directions in Large Language Models”, at ang pangunahing ideya nito ay ang paggamit ng pangunahing konsepto na “sticky Kakeya set” na nabuo mula sa patunay ng Kakeya conjecture upang magtakda ng “mga patakaran sa pagkakasunod-sunod” sa loob ng semantic space ng malalaking modelo, at pagpapaliwanag ng mga konseptong malalabo mula sa panahon ng pagtuturo, upang gawing tunay na ma-track ang mga landas ng pag-iisip ng AI.

Totoo naman, unang-una ang mga eksperto sa matematika ang nagbubukas ng daan, at pagkatapos ay ang mga mananaliksik sa AI ang naghahanap ng mga kayamanan.

Pangunahing problema ng malalaking modelo: collapse ng representation

Magsimula muna tayo sa “black box problem” na nararamdaman ng lahat.

Ang mga malalaking modelo ngayon ay may mataas na antas ng kawastuhan sa pagsagot sa mga tanong, pagsulat ng code, at pagsusuri, ngunit kapag tanungin mo ito, “Paano naisip ang hakbang na ito?”, o hindi ito makapagpaliwanag nang maayos, o kaya’y gumagawa ito ng isang maling dahilan para ipagtanggol ito.

Ang ugat ng problema ay nakatago sa isang pangunahing katangian na tinatawag na representation collapse.

Maaari mong isipin ang semantic space ng malaking modelo bilang isang napakalaking intelligent na warehouse na may libo-libong antas, na teoretikal na nakakapag-imbak ng walang hanggang konsepto: lohika, emosyon, katotohanan, pag-iisip, atbp., bawat isa ay may sariling lugar.

Ngunit habang tinuturuan ang Transformer, ito ay “nagpapakita ng pagiging perezoso”—laging pinipilit na ilagay ang lahat ng impormasyon sa semantika sa isang maliit na lugar sa harap ng warehouse, at hindi ginagamit ang 90% ng espasyo.

Ang resulta ay, ang lahat ng konsepto ay nakaipit sa isang maliit na high-dimensional conical region, na tinatawag ng akademya bilang “anisotropy”.

Ang pagiging malapit-lapit ay magdudulot ng maraming problema.

Halimbawa, ang conceptual entanglement ay pagsasama-sama ng mga bagay na walang kinalaman sa iisang direksyon, kaya ang isang neuron ay kailangang tumugon sa “pusa” at mag-activate din sa “mga talata mula sa Biblia”

At hindi mo kayang masuri kung anong bahagi ng representasyon ang tumutugon sa anong lohika, kahit ang modelo mismo ay hindi kayang muling buuin ang totoong proseso ng pag-iisip.

Kapag pinagsasama ang magkakaparehong ngunit iba’t ibang konsepto, madaling magkamali, at kahit kaunting pagbabago sa tanong, madaling magsalita nang walang katotohanan ang AI.

May isang tiyak na pagsusummary sa papel na ang ilang kaunting “maling dimensyon” ang nag-aabot ng karamihan sa variance ng impormasyon, na nagwawala ng epektibong kapasidad ng modelo.

Ito ay isang kahinaan ng halos lahat ng pangunahing Transformer architecture, mula sa GPT, Llama hanggang sa Gemma—walang naliligtas.

Sa harap ng ganitong sitwasyon, ang mga dating solusyon ng industriya ay pangkalahatang “pagpapabuti pagkatapos,” kung saan hinuhulma ang mga konsepto na nagkakasalungatan gamit ang mga kasangkapan tulad ng sparse autoencoder pagkatapos ng pagtrato ng modelo.

Ngunit ang resulta ng paraan na ito ay nagiging “mukhang makatotohanan” lamang, at hindi kailangan na tumutugma sa totoong lohika ng modelo, kaya ang katumpakan ay palaging nababawasan.

Ngayon, ang diskarte ng GeoLAN ay diretso nagbago: huwag hintayin na magkakalat bago ayusin, ayusin agad sa simula. Magdagdag ng geometrikong pagkakabound sa representation space sa buong proseso ng pagtuturo, upang maging maayos ang bawat konsepto.

Paano nakakauugnay ang conjecture ni Tsuyama sa AI?

Upang maunawaan ang ideya ng GeoLAN, kailangan mong malaman kung ano ang sinasabi ng Konjektura ni Kakutani.

Noong 1917, tanungin ni Kakeya Shinichi ang isang problema na tila simplengunit nagpahirap sa mundo ng matematika nang kalahating siglo: Paano mo isasagawa ang isang karayom na 1 sentimetro ang haba sa ibabaw ng mesa nang isang buong pagsikat, at ano ang pinakamaliit na lugar na maaaring sakop nito?

Maaaring isipin mo na kung ikukulay mo ang isang loop, siguradong magkakaroon ito ng isang area na hindi maliit. Ngunit natuklasan ng mga matematiko na maaari itong malapit sa 0.

Paano ito ginagawa?

Kung pinapag-ikot at pinapagalaw ang isang karayom habang nasa isang panig, ito ay nakakagawa ng isang kakaibang hugis na may halos sero na lugar. Ibig sabihin, sa isang dalawang dimensyon, maaari mong i-fit ang lahat ng heometrikong trahektorya sa isang napakaliit na sulok.

Lumalalim ang hamon—kung saan ito ay sa isang tatlong dimensyon? Kapag ang karayom ay maaaring umikot sa lahat ng direksyon—pataas, pababa, kaliwa, kanan, at walang hanggang direksyon sa espasyo—ilan ang minimum na laki ng espasyo na kailangan upang ilagay ang lahat ng mga karayom na ito?

Ayon sa karanasan sa dalawang dimensyon, sa three-dimensional space, ang absolute volume ng hugis ay maaari pa ring i-compress hanggang malapit sa zero.

Ngunit nagkakaroon ng isang bagong palaisipan dito: bagaman walang volume ang grapong ito, ba’t nababawasan o bumabagsak ito sa mikroskopiko? Ipinakilala ng mga matematiko ang “fractal dimension” upang masukat ang kanilang densidad ng balangkas.

Sa huli, natuklasan ni Wang Hong at iba pa na kahit gaano pa kahalangang i-press ang volume ng anyo, upang suportahan ang bawat direksyon ng karayom, ang loob na balangkas na nagkakainterseksyon ay nananatiling matibay na “tatlóng dimensyon na puno” at hindi nagkakaroon ng pagbaba sa mikroscopikong antas. Ito ang dakilang kontribusyon ni Wang Hong sa pagwawakas sa problema ng siglo.

Sa tamang proseso ng hard proof, nabuo ang isang napakahalagang konsepto na tinatawag na "sticky Kakeya set".

Ang “stickiness” ay simpleng isang set ng mga patakaran laban sa pagpupukol. Ito ay partikular na ginagamit upang kontrolin ang mga line at tube, upang hindi sila makakalapit sa isa’t isa.

Kung sumusunod ang isang grupo ng mga tubo sa mga patakaran na ito, sasalamin nila nang maayos ang espasyo—mananatili ang laki nito kung ano ang dapat; ngunit kung hindi sila sumusunod at lahat ay nagkakalat sa isang maliit na sulok, ang “laki” ng espasyo ay mababawasan, at mukhang napipigil.

Dapat mong maunawaan na ito: Ang pagkabagsak ng representasyon ng malalaking modelo, hindi ba ito “hindi sumasapat ang semantic pipe sa kondisyon ng viscosity, lahat ay naka-push sa isang lugar”?

Ang ginagawa ng GeoLAN ay direktang ginagamit ang matematikal na konklusyon ng Conjecture ng Guigu Valley bilang istandard sa inhenyeriya: Dahil sa matematika ay napatunayan nang walang duda na “sumusunod sa viscosity, hindi kolapsuhin ang espasyo,” gagawin namin ang parehong viscosity constraint sa semantic space ng malalaking modelo upang ang kanyang representasyon ay naturally hindi magiging sobrang malapit sa isa't isa.

Iwasan ang pagsasalin o pag-decode ng HTML entities. Halimbawa: >>> → >>>

Pagkatapos, nilikha ng GeoLAN ang dalawang set ng parusa na maaaring kalkulahin, na nagpapalit sa mga pang-geometrikong patakaran sa Hypothesis ng Gauss bilang mga layunin sa pagtuturo. Ang isa ay ang KT-CW, na nakatuon sa paglutas ng “semantic clustering”; at ang isa pa ay ang KT-Attn, na nakatuon sa paglutas ng “attention laziness”.

Sa madaling salita, ang KT-CW ay nagpapalit-laro ng mga direksyon sa semantic space habang tinuturuan. Kung makakita ito ng isang direksyon na puno ng maraming impormasyon, binabawasan nito ang puntos ng modelo. Ito ay pinupush ang modelo na ipamahagi ang kaalaman nang pantay-pantay sa bawat sulok ng mataas-dimensyonal na puwang, at gamitin ang lahat ng dating walang ginagamit na dimensyon, upang malutas ang problema ng "pagkakasalot" sa pinagmulan.

Ang isang iba pang KT-Attn ay espesyal na nakatuon sa pagtatapos ng pagmumura sa attention mechanism. Sa huling bahagi ng pagtuturo, ang mga attention head ng malalaking modelo ay madalas na nagsasailalim sa malubhang homogenization, kung saan ang maraming head ay patuloy na nakatitig sa iisang salita o posisyon lamang, na may kaunting epektibong puwersa ng paggawa. Ang patakaran na ito ay pinipilit na bawat attention head ay dapat tumingin sa ganap na iba’t ibang semantic regions, upang siguraduhin ang buong saklaw ng attention at lubos na pagwawasto sa phenomenon ng rank collapse sa attention heads.

Sa pagkakagawa ng mga hakbang na ito, ang epekto ay agad na nakikita.

Sa Llama-3-8B, pinagsama ng GeoLAN ang dating napipigil na konikal na representasyong espasyo sa isang malambot na bola, na nagresulta sa malaking pagbawas sa pagkakasama-sama at malaking pagpapabuti sa pagkakapantay-pantay sa lahat ng direksyon, habang pinapanatili ang akurasyon ng gawain.

Sa Gemma-3-4B, ang akurasyon ng MMLU ay tumataas mula sa 0.59 patungo sa 0.60, isang pagtaas ng halos 0.75 puntos porsyento. Ang semantic stability ng TruthfulQA ay malakas na nag-improve.

Sa mas malaking Gemma-3-12B, ang indikador ng antas ng pagkiling ay naging mas malinaw na pagbaba sa statistikal na antas.

Mas interesante pa, natuklasan ng papel ang isang interesanteng phenomenon na tinatawag na “Goldilocks Zone”.

Kaya ang pagkakasunod-sunod ng mga mahigpit na heometrikong pagtatakda ay isang kalamangan para sa mga modelo na may maliit na bilang ng parameter, dahil ang mga maliit na modelo ay naturally kailangan ng pagkakasalubong ng konsepto para sa ekstremong kompresyon ng kahulugan; ang pagsisikap na i-disperse ay magdudulot ng malubhang pagkasira sa loob na heometrikong istruktura.

Para sa mga malalaking modelo na may sobrang laki, ang malaking proseso ng pre-training ay nagsagawa na ng napakakomplikadong istruktura ng manifold, at ang pagdaragdag ng sistema na ito ay hindi lamang hindi angkop kundi magdudulot din ng pagbaba sa kabuuang performance.

Ang pinakamainam na epekto ay nangyayari sa mga katamtamang laki ng modelo, tulad ng apat hanggang walang milyar na parameter, na may sapat na espasyo upang masipsip ang benepisyo mula sa uniform distribution.

Hindi lang iyon, ang papel ay nagdedebelop ng isang mahusay na teorema na tinatawag na “Theorem of Semantic Stickiness”: kapag ang representation ay sumusunod sa “Rule Against Crowding,” ang iba’t ibang semantikong konsepto ay awtomatikong nahahati sa mga subspaces na halos perpendikular sa isa’t isa, na tinatawag ng papel bilang “grains.” Ang bawat subspace ay maaaring i-interpret at i-adjust nang hiwalay, na nangangahulugan na ang problema ng black box na nagpapahirap sa industriya ay naging transparent na.

Isang papel sa ACL, nagdala ng Konjektura ni Tsuruoka mula sa malaking mundo ng puro matematika patungo sa inhenyeriyang AI.

Field Medalist, inaanyo na sumali sa OpenAI araw na iyon

Isang iba pang napapansin ay ang isang matematikong dakila na si Jacob Tsimerman, na sa araw ng kanyang pagkakatanggap ng Fields Medal, ay agad niyang inihayag na magkakaroon siya ng trabaho sa OpenAI sa isang malapit na pagkakataon para sa direksyon ng AI safety.

Ito ang nagtutulak sa atin na pansinin ang malapit na ugnayan ng mga advance na matematika at AI.

Isa taon na ang nakalipas, kasama niya si Andrew Critch, isang siyentipiko sa pag-iingat ng AI mula sa Berkeley, sa pagsulat ng papel na “A Taxonomy of Omnicidal Futures Involving Artificial Intelligence,” kung saan ginamit ang kahusayan ng isang matematiko upang bumuo ng isang mahigpit na klasipikasyon para sa mga landas ng panganib ng AI.

Siya mismo ay malaking tagapagmabuting AI; noong 2025, may limang papel sa matematika siya na isinampa sa arXiv, at sinabi niya na ang AI ay direktang nagdala ng pagdoble sa kanyang produktibidad sa pananaliksik.

Mas dramatiko pa, tatlong araw bago ang pagbibigay ng parangal, isang tao ay gumamit ng pinakabagong Claude Fable 5 ni Anthropic upang iwan ang 87-taong pagtigil sa Jacobi conjecture, na nagdulot ng malaking epekto sa buong mundo ng matematika. Ang tao ay ang kanyang mag-aaral na si Levent Alpöge.

Sa pagkakaroon ng AI na patuloy na lumalapit o lumalampas sa “IQ” ng mga pinakamahusay na matematiko, ipinahayag nang bukas si Timothy, ang matandang matematiko: Ito ang unang beses na nakikita niya ang mga malaking modelo ng wika na nagsisikap nang madali sa isang larangan na kumpletong hindi niya alam, at nakakalutas ng mga sikat na hamon ng siglo.

Ang ugnayan ng matematika at AI ay nasa labas na ng saklaw ng salitang "hindi makapaghihiwalay"; sila ay nagkakaisa sa isang nakakagulat na bilis.

Isaayos ang nakaraang taon ng AI sa larangan ng matematika: mula sa pagkamit ng bituin ng DeepMind na AlphaProof sa International Mathematical Olympiad, hanggang sa pagbubura ng 80-taong pagsisikap na Erdős unit distance conjecture ng reasoning model ng OpenAI, pati na rin ang paglutas ng cyclic double covering conjecture sa loob ng isang oras lamang ng GPT-5.6, at ang pagpapalayas ng Jacobi conjecture sa isang gabi ng Claude Fable 5—ang AI ay nagtatagpo ng maraming century-breaking records sa loob ng dalawang buwan lamang, at ang bilis ng paglutas ay patuloy na tumataas nang eksponensyal.

Sa isang interbyu sa AMS, sinabi nang direkta ni Jacob, “Mayroong maraming ‘self-deception’ sa mundo ng matematika, kung saan ang mga tao ay tumitingin sa kasalukuyang kakayahan ng AI na mas mababa kaysa sa mga matematiko, at nagtatapos na ito ay maglalabas kailanman.” Ipinatotohanan niya sa sariling pagpapakita na bagaman ang mga patunay ng modelo ay “hindi kompletong at hindi mahigpit,” “karaniwang nakakakuha ito ng malapit sa tama na paraan, at nakakatulong sa iyo na tapusin ang walong porsyento ng daan.”

Naniniwala siya na loob ng dalawang taon, ang AI ay lalampas na sa tao sa paggawa ng matematikal na patunay.

Kaya ang tanong ay: Sa 2030, sa Field Medal na apat na taon mula ngayon, mayroon pa bang human na tagapagwagi?

May tiyak na limitasyon sa edad ang Fields Medal, at ang mga tagapagwagi ay dapat hindi pa nakakaraan ng 40 taon. Ibig sabihin nito, kung ang AI ay lalampas sa sistemang pagkakaroon ng kakayahang magbigay ng orihinal na pagkakakilanlan ng mga mathematician sa loob ng apat na taon, ang komite ng pagpaparangal ay magkakaroon ng isang walang kahalintulad na problema: ikaw ba ay nagbibigay ng parangal sa taong gumawa ng pinakamahusay na gawaing matematika, o sa taong gumawa ng pinakamahusay na gawaing matematika sa mga tao?

Mas kahanga-hanga ang bidirectional acceleration ng matematika at AI. Agad na ipinatupad ang napatunayang 3D Kakeya Conjecture sa tatlong buwan pagkatapos bilang tool para sa pag-train ng malalaking modelo. Ano ang mga kakayahan ng AI ang mabubuo bukas mula sa mga pagbabago sa Andre-Oort Conjecture at Hilbert’s Sixth Problem na ipinagdiriwang sa Fields Medal today?

Kahit na dati ay sinasabi na ang mga matematiko ang nagsisimula sa harap, habang ang AI ay sumusunod para magtipon ng mga yaman. Ngayon, ang nagtatipon ay nagsisimula na ring magbuo ng sariling daan.