小紅書開源 BigMac,一種新型多模態大模型訓練範式

iconKuCoinFlash
分享
AI summary icon精華摘要
小紅書開源 BigMac,這是一種基於 MetaEra 的新型多模態訓練範式。該模型採用依賴安全的嵌套管道,將編碼器與生成器的運算整合至 LLM 管道中,在保持激活記憶體受限的同時,實現了比標準方法快 1.08x 至 1.9x 的速度提升。BigMac 現已支援 dots 多模態模型的生產訓練。隨著該模型逐漸受關注,技術指標的未平倉量持續上升。

ME News 消息,7 月 22 日(UTC+8),小紅書技術團隊開源 BigMac,一種針對多模態大模型訓練的依賴安全嵌套流水線新範式。它以 LLM 流水線為主幹,在不打亂執行順序的前提下嵌入編碼器和生成器計算,相比基線實現 1.08x-1.9x 加速,同時保持激活顯存有界。BigMac 已作為 dots 多模態模型訓練的核心組件投入生產。 🔗 閱讀原文:https://mp.weixin.qq.com/s/tNJARtn1jIayL5URg87Row via AI HOT · https://aihot.virxact.com/items/cmrvx8ycy0240bipz0pkrvryq(來源:AiHot)

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款風險披露