Посты
avatar

Nvidia официально объявила о начале массового производства системы Groq 3 LPX в стойке. Это аппаратное решение, приобретённое в результате сделки, теперь официально выходит на коммерческую реализацию и стало самой горячей темой в сфере AI-аппаратного обеспечения, сместив фокус отраслевой конкуренции с обучения крупных моделей на низкозадержковое инференс-взаимодействие в сценариях Agent. Это аппаратное решение относится к технологическому стеку Vera Rubin и отличается чрезвычайно высокой скоростью вывода токенов. При обработке контекстов длиной до 100 000 токенов оно способно достигать скорости вывода в несколько тысяч токенов в секунду. Согласно официальным тестовым данным, в определённых сценариях стоимость вычислений может снизиться до 35 раз по сравнению с предыдущим поколением. Оно специально разработано для сценариев, требующих крайне высокой скорости отклика, таких как AI-агенты и автоматическое выполнение программ. Ранее многие проекты Agent не могли быть коммерциализированы в основном из-за слишком высокой задержки инференса — пользователи вынуждены долго ждать завершения многоэтапных задач моделью, что делало опыт использования непрактичным. Первый облачный провайдер уже внедрил эту стойку. В будущем облачные сервисы смогут предлагать на её основе премиальные API-пакеты с низкой задержкой для корпоративных клиентов, требующих высокой скорости. Однако это также перепишет бизнес-модель облачного AI: в будущем конкурентное преимущество облачных провайдеров будет определяться не только размером параметров модели, но и производительностью аппаратного инференса. Запуск массового производства также передаёт важный отраслевой сигнал: следующая битва в AI уже не будет сосредоточена на создании моделей с ещё большими параметрами, а будет направлена на то, чтобы запускать уже мощные модели с меньшими затратами и большей скоростью. Барьеры для коммерциализации Agent постепенно устраняются благодаря аппаратному обеспечению, и вскоре мы увидим, как множество автоматизированных агентов, ранее существовавших только в лабораториях, начнут внедряться в реальные коммерческие среды. #Nvidia #AI_аппаратное_обеспечение #Agent

Этот контент предназначен исключительно для информационных и образовательных целей. Он может содержать информацию от третьих лиц, спонсорский контент или рекламные материалы, за которые креатор может получить вознаграждение. Ничто в этой ленте не является инвестиционным советом или гарантией прибыли. Вы несете полную ответственность за свои собственные инвестиционные решения. Всегда проводите самостоятельные исследования и проявляйте осторожность перед торговлей. Мы не гарантируем точность информации третьих лиц и не несем ответственности за понесенные убытки. Прошлые результаты не являются показателем будущих. Пожалуйста, ознакомьтесь с нашими Условиями сообщества и Заявлением о раскрытии информации о рисках для получения подробной информации.

avatarОставьте свой ответ

Комментарий