Prismax сократил использование VRAM для инференса π0.5 с ~22 ГБ до всего 11,2 ГБ, сделав его совместимым с GPU на 16 ГБ, такими как RTX 5080 и 5070 Ti. Как этого удалось добиться? > Устранена избыточная инициализация модели в FP32. > Предотвращено занятие VRAM моделями PyTorch > одновременно с скомпилированными движками TensorRT. Результат: почти на 10 ГБ меньше использования VRAM без потери качества модели. Это делает высокопроизводительный инференс π0.5 для робототехники более доступным на настольных и портативных устройствах. @PrismaXai
JasonПоделиться
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации.
Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.