加州理工學院開源 1-bit Bonsai 模型:8B 參數,僅 1.15GB,iPhone 上達 44 Tok/s

iconChainthink
分享
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary icon精華摘要

expand icon
鏈上新聞:由 Babak Hassibi 領導的加州理工學院 PrismML 已開源 1-bit Bonsai AI 模型。8B 版本擁有 82 億個參數、1.15GB 記憶體,並可在 iPhone 17 Pro Max 上以每秒 44 個 token 的速度運行。AI + 加密貨幣新聞:該模型的能耗比 16 位版本低 4-5 倍。PrismML 已從 Khosla Ventures、Cerberus Capital 和加州理工學院籌集了 1625 萬美元的 SAFE 和種子輪資金。

ChainThink 消息,2026年4月1日,據1M AI News監測,加州理工學院數學家Babak Hassibi聯合創立的AI實驗室PrismML結束隱身期,開源1-bit Bonsai系列大語言模型。旗艦模型1-bit Bonsai 8B擁有82億參數,記憶體佔用僅1.15GB,較同級別16-bit模型壓縮約14倍,同時發布4B(0.5GB)和1.7B(0.24GB)兩款更小模型。


Bonsai 8B 為端到端真 1-bit 模型,嵌入層、注意力層、MLP 層和輸出頭全部僅用 +1 或 -1 表示權重,無高精度補丁。PrismML 称其在標準基準測試上的推理和語言理解能力與 16-bit 全精度模型相當,核心壓縮數學由團隊在加州理工歷時數年研發,知識產權歸加州理工所有,PrismML 為唯一獨占授權方,模型使用谷歌 v4 TPU 訓練。


在實際測試速度方面,M4 Pro Mac 上為 136 tok/s,RTX 4090 上為 440 tok/s,iPhone 17 Pro Max 上約為 44 tok/s;標準 16-bit 8B 模型無法裝入任何 iPhone,能耗較 16-bit 模型降低約 4-5 倍。PrismML 指出,現有硬體並非為 1-bit 推理設計,速度與能耗優勢主要來自記憶體佔用縮小,若未來出現專為 1-bit 設計的硬體,效率還可再提升一個數量級。


PrismML 完成 1625 萬美元 SAFE 及種子輪融資,投資方為 Khosla Ventures、Cerberus Capital 和加州理工。Khosla Ventures 創始人 Vinod Khosla 評價該成果「不是小迭代,是重大技術突破,是數學突破,不只是又一個小模型」。

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款風險披露