模型架構開始感覺不再像一個固定的神經網絡,而更像一個運行時環境。 將不同的輸入路由至不同的專家 動態分配計算資源 調整深度 更新記憶體 在推理時適應參數 有趣的問題已不再只是 模型有多大? 而是模型選擇執行什麼?