
@TPN_Labs 這週大放異彩,Gratis 已正式上線,這正是人們曾說 subnets 永遠不會推出的東西。 這是一款免費應用程式,可直接在您的瀏覽器標籤或桌面運行開源模型,無需帳戶、無需安裝,您輸入的任何內容都不會離開您的裝置。 讓我驚嘆的是其工程技術。通常瀏覽器會將每個標籤的記憶體限制在 4GB,遠低於真實模型所需的容量。該團隊將推論運行時 fork 成 64 位定址,並將上限提升至 16GB。這正是為何一個真正規模的模型能在標籤中運行的原因。 它還能從 Hugging Face 上超過 90 萬個開源模型中載入模型,免費且無使用限制,因為它運行在您已擁有的硬體上。 這裡用戶的優勢很簡單:下次有人問 subnets 到底能產出什麼,您只需發一個連結,他們就能在約一分鐘內自行運行模型。 由衷讚賞這支團隊,這才是讓本地 AI 變成任何人都能觸及的正確方式。 關於背後的詳細數據,明天再完整分享。 1/2





