Prismax 已將 π0.5 推理的 VRAM 使用量從約 22 GB 減少至僅 11.2 GB,使其能夠在如 RTX 5080 和 5070 Ti 等 16 GB GPU 上運行。 如何實現的? > 消除了不必要的 FP32 模型初始化。 > 防止 PyTorch 模型與編譯好的 TensorRT 引擎同時佔用 VRAM。 結果:在不犧牲模型性能的情況下,VRAM 使用量減少近 10 GB。 這使得在桌面和筆記型電腦硬體上進行高性能 π0.5 機器人推理更加便捷。 @PrismaXai
JasonPrismax 已將 π0.5 推理的 VRAM 使用量從約 22 GB 減少至僅 11.2 GB,使其能夠在如 RTX 5080 和 5070 Ti 等 16 GB GPU 上運行。 如何實現的? > 消除了不必要的 FP32 模型初始化。 > 防止 PyTorch 模型與編譯好的 TensorRT 引擎同時佔用 VRAM。 結果:在不犧牲模型性能的情況下,VRAM 使用量減少近 10 GB。 這使得在桌面和筆記型電腦硬體上進行高性能 π0.5 機器人推理更加便捷。 @PrismaXai
