帖子
avatar

🚨 這位仁兄剛剛用桌上的一台迷你電腦,取代了他每月 $200 的 CLAUDE MAX 訂閱! Gemma 4 12B 透過 llama.cpp 在 GMKTEC EVO-X2 上本地運行,啟用多標記預測,無需雲端、無需 API 密鑰、無速率限制 你只需下載 Q4_K_M 量化模型,啟動 llama.cpp,然後讓它運行即可 聽起來像個玩具,直到你看到輸出結果: 該模型寫出了一篇關於星艦工程、推進系統、猛禽發動機、甲烷氧燃料、可重複使用機制、格柵翼、Mechazilla 捕獲系統的完整技術分析,結構清晰,包含章節、項目符號,並在結尾附上清晰度自檢 生成速度:提示詞處理約 18 t/s,生成速度達 60 t/s。GPU 記憶體使用率高達 96%。整個系統運行在比鞋盒還小的設備上 大多數開發者仍在每月花費 $200 繞過雲端 AI 的使用上限,而這位仁兄卻能以他已擁有的硬體成本,24/7 無限進行本地推理 收藏這篇!更多 Alpha 即將登場。每月 $200 的訂閱時代,剛剛被現實狠狠打臉

此內容僅供資訊及教育用途。內容可能包括第三方見解、贊助內容或推廣材料,而創作者可能因此獲得報酬。本資訊流中的任何內容均不構成投資建議或收益保證。您須自行對投資決策負全責。交易前,請務必自行研究並審慎行事。我們不保證第三方資訊的準確性,亦不會對因此產生的任何損失承擔責任。過往表現並不代表未來結果。詳情請參閱我們的 社群條款 及 風險披露聲明。

avatar發佈你的回覆

評論