一個用於開放推論的 NUMA 鏡像 PR 在 5×3090 上報告預填充為 128.6 tok/s、解碼為 18.2 t

The Upsider²2026/09/01 00:46:09

$80,012.600.55%

一個用於開放推論的 NUMA 鏡像 PR 在 5×3090 上報告預填充為 128.6 tok/s、解碼為 18.2 tok/s——而當暫存記憶體失去局部性時，則為 125.1/11.5。下一場 AI 成本之戰，可能將在記憶體拓撲而非模型權重上決出勝負。同意嗎？

來源:顯示原文

免責聲明：本頁面資訊可能來自第三方，不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用，不構成任何形式的陳述或保證，也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏，或因使用該資訊而導致的任何結果不承擔任何責任。虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息，請參閱我們的使用條款和風險披露。