數學突破應用於人工智慧:GeoLAN 借助 Kakeya 猜想解決「黑箱」問題

iconMetaEra
分享
AI summary icon精華摘要
AI 與加密貨幣新聞成為焦點,佛羅里達大學團隊將三維 Kakeya 猜想應用於 AI 訓練,創建 GeoLAN 以解決「黑箱」問題。該方法利用幾何約束使 AI 推理可追溯。鏈上新聞方面,菲爾茲獎得主 Jacob Tsimerman 加入 OpenAI,標誌著數學與 AI 的深度融合。
AI-generated summary: The University of Florida team applied the recently proven 3D Kakeya conjecture to large model training, developing the GeoLAN method to address AI's "black box" problem. This method leverages the concept of "sticky Kakeya sets" born from the proof of the Kakeya conjecture to impose geometric constraints on the semantic space of large models, organizing concepts from the training stage and making AI's reasoning paths traceable. Experiments on models such as Llama-3-8B and Gemma-3-4B achieved significant performance improvements. Meanwhile, Fields Medalist Jacob Tsimerman announced on the day of his award that he is joining OpenAI to work on AI safety, demonstrating that mathematics and AI are converging at an unprecedented pace.

文章作者、來源:雷峰網

數學大師在前方開路,AI 研究員在後方拾寶,菲爾茲獎還能用來破解 AI「黑盒」嗎?

數學界與 AI 界狠狠聯動了

The pure mathematical achievements of the tier have been directly applied to the front lines of large model training.

小紅書作者 Z9 在翻閱論文時發現,剛剛刷爆全網的三維掛谷猜想,現已被佛羅里達大學團隊引入神經網絡訓練流程,跨界解決大模型的「黑盒問題」。

Their paper is titled "GeoLAN: Geometric Learning of Latent Explanatory Directions in Large Language Models," and its core lies in using the key concept of "sticky Kakeya sets," born from the proof of the Kakeya conjecture, to establish a set of "arrangement rules" for the internal semantic space of large models, straightening out entangled concepts during training and making AI's reasoning pathways truly traceable.

數學大師在前方開路,AI 研究員在後方拾寶,菲爾茲獎還能用來破解 AI「黑盒」嗎?

真可謂,前有數學大神開荒,後有 AI 研究員撿寶。

大模型的底層通病:表徵坍塌

讓我們從大家都有體感的「黑盒問題」說起。

現在的大模型在解題、寫代碼和做分析時正確率都很高,但當你問它「這一步是怎麼想出來的」,它要么說不清楚,要么直接編個假理由糊弄你。

這個問題的根源,藏在一個叫表徵坍塌的底層特性裡。

你可以將大模型的語義空間想像成一個幾千層的超大智慧倉庫,理論上能分門別類地存放無數概念:邏輯、情感、事實、推理等,各自佔位。

但 Transformer 在訓練時特別「會偷懶」,它總愛把所有語義資訊都一股腦堆在倉庫門口的一小塊區域,剩下 90% 的空間全空著不用。

As a result, all concepts are squeezed into a narrow high-dimensional conical region, which is what the academic community refers to as "anisotropy".

而擠成一團的後果會帶來很多問題。

例如,概念糾纏會把八竿子打不著的內容硬塞在同一個方向,讓一個神經元既要響應 “cat”,又要激活 “聖經經文”

而且你根本無法分辨哪部分表徵對應哪條邏輯,連模型自己都無法還原真實的思考路徑。

當把相近但不同的概念擠在一處,還容易混淆,稍微換個問法,AI 就容易胡說。

The paper provides a precise summary: a few rogue dimensions dominate most of the information variance, wasting the model's effective capacity.

這個問題幾乎是所有主流 Transformer 架構的弊病,從 GPT、Llama 到 Gemma 無一倖免。

面對這種局面,以往行業的解決方法基本上都是「事後補救」,等模型訓練完成後,再使用稀疏自編碼器之類的工具,強行將纏繞在一起的概念拆解開來。

但這種方法拆出來的結果只是「看起來合理」,不一定對應模型內部的真實邏輯,保真度始終打折扣。

現在,GeoLAN 的思路直接轉向另一個方向:別等混亂了再整理,一開始就按規矩擺好。在整個訓練過程中為表徵空間添加幾何約束,讓每個概念各就其位。

掛谷猜想與 AI 有何關聯?

要理解 GeoLAN 的思路,得先知道掛谷猜想在講什麼。

在1917年,數學家掛谷宗一提出了一個看似簡單、卻困擾數學界長達半個世紀的難題:將一根1厘米長的針在桌面上旋轉一圈,它所掃過的最小面積可以有多小?

你可能會想,轉一圈嘛,肯定得畫個圈,面積小不了。但數學家發現,可以接近於 0。

怎麼做到的呢?

如果你讓一根針一邊旋轉一邊滑動,它居然能掃出一個面積幾乎為零的奇特圖形。也就是說,在二維世界中,你可以將全方位的幾何軌跡塞進一個極小的角落裡。

挑戰進一步升級,如果在三維空間呢?當這根針可以在上下左右、無數個立體方向上旋轉,要想把這些全方向的針全部裝進一個空間裡,這個空間最少需要多大?

According to two-dimensional experience, in three-dimensional space, the absolute volume of this shape can still be compressed to near zero.

但這裡產生了一個新謎題:這個圖形雖然空洞得沒有體積,但它在微觀上是不是也縮水、退化了?數學家引入了「分形維數」來衡量它的骨架密實度。

最後,王虹等人發現,即使你將圖形的體積壓榨得再空洞,為了照顧到每一個方向的針,其內部交織的骨架依然保持著結結實實的「三維飽滿度」,在微觀維度上一點都沒有退化。這正是王虹解決世紀難題的偉大之處。

In this rigorous proof process, a crucial concept known as "sticky Kakeya set" was born.

“黏性”說白了就是一套防擠規則,專門用來管控那些線段和管子,不讓它們靠在一起。

如果一組管子遵守了這套規則,它們就會老老實實鋪開,空間該是多大還是多大;但如果它們不守規矩,全擠在一個小角落裡,空間的「大小」就會縮水,看著像被壓扁了一樣。

By now, you should be able to connect the dots: the representation collapse of large models is just like "the semantic tube failing to satisfy the viscosity condition, with everything squeezed together," right?

GeoLAN 的做法,是直接將掛谷猜想的數學結論當作工程標準:既然數學上已嚴格證明「滿足黏性,空間不坍縮」,那我們就給大模型的語義空間加上同樣的黏性約束,讓它的表徵天然不會擠成一團。

將此規則融入訓練過程的核心,在於設計一個可量化的懲罰函數,也就是讓模型能計算並知道如何調整的懲罰規則。

GeoLAN 設計了兩套可計算的懲罰規則,將谷猜想中的幾何規則轉化為訓練目標:一套稱為 KT-CW,專門解決「語義聚集」問題;另一套稱為 KT-Attn,專門解決「注意力懶惰」問題。

KT-CW 簡單來說,就是在訓練時隨機抽樣語義空間的各個方向。如果發現某個方向過於集中語義資訊,就給模型扣分,迫使模型將知識均勻分佈到高維空間的每個角落,充分利用之前浪費的維度,從根本上解決「擠成一團」的問題。

另一套 KT-Attn 則專治注意力機制的摸魚行為。大模型的注意力頭在訓練後期往往會陷入嚴重的同質化,許多頭終日只盯著同一個詞同一個位置打轉,有效幹活的勞動力極少。這條規則強行規定每個注意力頭必須關注截然不同的語義區域,確保注意力能夠全方向覆蓋,徹底根治了注意力頭的秩坍縮現象。

這套組合拳打下來,效果可說是立竿見影。

On Llama-3-8B, GeoLAN deliberately reshaped the originally compressed conical representation space into a smooth sphere, significantly reducing the degree of overlap and greatly improving uniformity across all directions, while maintaining task accuracy.

在 Gemma-3-4B 上,MMLU 準確率從 0.59 提升至 0.60,約提升 0.75 個百分點。TruthfulQA 語義穩定性顯著改善。

On the larger Gemma-3-12B model, the bias rate metric also showed a statistically significant decrease.

更有意思的是,論文還發現了一個叫「金鳳花區」的有趣現象。

Moreover, the strict geometric constraints of uniform distribution can be catastrophic for models with too few parameters; small models inherently rely on conceptual entanglement to achieve extreme semantic compression, and forcibly dispersing them will only severely degrade their internal geometric structure.

For excessively large giant models, the massive pre-training process has already spontaneously established an extremely complex manifold structure; adding this set of rules will not only be incompatible but also hinder overall performance.

只有像四到八十億參數這樣的中等體量模型,剛好擁有足夠的空間來消化均勻分佈帶來的紅利,反而效果最好。

此外,論文還推導出一個精妙的定理——「語義黏性定理」:當表徵滿足「防擠規則」時,不同的語義概念會自動分解為近似互相垂直的子空間,論文將其形象地稱為顆粒。每個子空間均可獨立解釋與獨立調整,這意味著困擾業界多年的黑箱問題因此變得透明。

一篇 ACL 論文,將掛谷猜想從純數學殿堂拽進了 AI 工程。

菲爾茲獎得主,當天宣布加入 OpenAI

另一個值得注意的是,本次菲爾茲獎得主中,有一位數學大師 Jacob Tsimerman,在獲獎當天直接宣布,未來將很快加入 OpenAI,從事 AI 安全方向的工作。

數學大師在前方開路,AI 研究員在後方拾寶,菲爾茲獎還能用來破解 AI「黑盒」嗎?

這讓人不得不注意前沿數學與 AI 的緊密聯繫。

就在一年前,他與伯克利 AI 安全研究者 Andrew Critch 合著了論文《A Taxonomy of Omnicidal Futures Involving Artificial Intelligence》,以數學家的極致嚴謹,為 AI 風險路徑搭建起嚴密的分類體系。

他本人更是 AI 的重度受益者,在 2025 年他有 5 篇數學論文上線 arXiv,直言 AI 讓自己的科研產出效率直接翻了一番。

更戲劇性的是,在頒獎前三天,有人借助 Anthropic 最新的 Claude Fable 5,一夜推翻了懸置 87 年的雅可比猜想,震動全球數學界。那個人正是他的學生 Levent Alpöge。

面對 AI 不斷逼近甚至超越頂級數學家的「智商」,數學泰斗蒂莫西公開感嘆:這是他在一生中第一次見到大語言模型在自己完全陌生的領域,輕鬆攻克家喻戶曉的世紀難題。

數學與AI的關係,早已超越「密不可分」這詞所能描述的範疇,它們正以驚人的速度融合為一體。

回顧過去一年 AI 在數學競技場上的成績單,從 DeepMind 的 AlphaProof 在國際奧數賽場斬獲銀牌,到 OpenAI 的推理模型一舉推翻埃爾德什單位距離猜想這樁八十年懸案,再到 GPT-5.6 僅用一小時就搞定循環雙覆蓋猜想,以及 Claude Fable 5 一夜蕩平雅可比猜想,AI 在短短兩個月內連續創下多項世紀紀錄,而且攻堅的速度正在呈指數級加快。

在 AMS 訪談中,Jacob 直言:「數學界存在大量『自我安慰』,大家盯著 AI 現在不如數學家,就推斷它永遠不如數學家。」他用自己的實踐證明,雖然模型的證明「不完整、不嚴謹」,但「通常能拉出大致正確的方法,幫你走完八成的路」。

他甚至認為,兩年內,AI 在數學證明這件事上,將全面超過人類。

那麼問題來了:四年後的2030年,菲爾茲獎還會有人類得主嗎?

菲爾茲獎有硬性的年齡限制,獲獎者必須未滿40歲。這意味著,如果AI在未來四年內系統性超越了人類數學家的原創發現能力,那麼評審委員會將面臨一個前所未有的困境:你是在把獎頒給做出最好數學工作的人,還是頒給「人類中做出最好數學工作」的人?

更耐人尋味的,是數學與 AI 的雙向加速。三維掛谷猜想剛被證明,三個月後便誕生了 GeoLAN,純數學成果直接落地為大模型訓練工具。今天菲爾茲獎上表彰的 André-Oort 猜想、希爾伯特第六問題突破,明天又會演化出什麼樣的 AI 能力?

過去總說,數學家在前頭拓荒,AI 在後面撿寶。 但現在,撿寶的那個,已經開始自己開路了。

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款風險披露