NUMAミラーPRによるオープン推論では、5×3090でプリフィルが128.6 tok/s、デコードが18.2 tok/sを記録。一方、ピンメモリのローカリティを失った場合は125.1/11.5。次なるAIコスト戦争はモデル重みではなく、メモリトポロジーで決まるかもしれない。同意する?
The Upsider²NUMAミラーPRによるオープン推論では、5×3090でプリフィルが128.6 tok/s、デコードが18.2 tok/sを記録。一方、ピンメモリのローカリティを失った場合は125.1/11.5。次なるAIコスト戦争はモデル重みではなく、メモリトポロジーで決まるかもしれない。同意する?