Amazon запускает TorchNeuron для конкуренции с доминированием Nvidia в области ИИ-программного обеспечения

Amazon Web Services выпустила TorchNeuron в понедельник, чтобы помочь стартапам в области ИИ переносить приложения на чипы Trainium от Amazon. Этот инструмент оспаривает программное преимущество, которое помогло Nvidia стать стандартным выбором аппаратного обеспечения для приложений ИИ. Amazon утверждает, что TorchNeuron позволяет запускать приложения, написанные на PyTorch, на Trainium, изменив всего одну строку конфигурации без переписывания кода.

PyTorch — это бесплатный открытый инструментарий для создания, обучения и запуска моделей ИИ. Amazon сообщает, что около 85% приложений ИИ написаны с использованием PyTorch. Facebook первоначально разработал PyTorch, который с 2022 года является частью Linux Foundation. Linux Foundation поддерживает открытые проекты. Nvidia в течение многих лет обеспечивала бесшовную поддержку PyTorch в своей программной инфраструктуре CUDA, предназначенной для запуска приложений на оборудовании Nvidia. В результате оборудование Nvidia стало неотъемлемой частью PyTorch, по сути, по умолчанию.

TorchNeuron адаптирован из PyTorch, поэтому разработчики, знакомые с PyTorch, уже знают, как использовать TorchNeuron. Пользователи PyTorch также могут переносить приложения на GPU AMD или чипы Apple с помощью простого изменения конфигурации. Однако Amazon утверждает, что переход на Trainium также предоставляет стартапам в области ИИ доступ ко всей облачной инфраструктуре Amazon. AWS утверждает, что AWS является лучшим выбором для стартапов, чем специализированные облачные провайдеры, такие как Coreweave, Nebius и Firmus, которые привязаны к оборудованию Nvidia.

Колин Брейс — вице-президент по программному обеспечению в технологии в AWS Annapurna Labs, подразделении, создающем пользовательские чипы Amazon. Брейс заявил, что AWS уже предоставляет инфраструктуру, необходимую основателям для перехода от прототипов к производству и масштабирования операций при необходимости. AWS утверждает, что Trainium обслуживает как обучение моделей, так и вывод — когда готовые модели выполняют задачи, например, отвечают на вопросы пользователей. AWS считает, что использование одного и того же чипа для обеих задач, тесно интегрированного с облачной инфраструктурой, позволит стартапам сэкономить деньги, даже несмотря на то, что цена за токен не является самой низкой. Брейс отметил, что Trainium снижает затраты на полный рабочий процесс за счет соотношения цены и производительности и единой платформы для обучения и вывода. Брейс сказал, что Deepgram перешел на Trainium с использованием нативной поддержки PyTorch и обрабатывает на 70% больше аудио за доллар при точности, соответствующей промышленным стандартам. Deepgram предоставляет AI-приложения для голоса и конкурирует с ElevenLabs.

Amazon говорит, что компания также работает над тем, чтобы сделать PyTorch менее автоматически привязанным к Nvidia. Amazon сообщает, что будет вносить код в основной проект PyTorch для поддержки этих усилий. В объявлении Amazon говорится, что компания сотрудничает с сообществом PyTorch для удаления кода, связывающего фреймворк с конкретными чипами. Amazon говорит, что цель состоит в том, чтобы сделать PyTorch менее зависимым от конкретного оборудования для всех разработчиков, а не только для пользователей Trainium.

Эти усилия выгодны производителям аппаратного обеспечения и облачных провайдеров, конкурирующих с Nvidia. Однако PyTorch частично создан для того, чтобы защитить разработчиков от трудностей запуска кода ИИ на аппаратном обеспечении. Снижение зависимости PyTorch от Nvidia может предоставить больше выбора и более доступные варианты, как обещает Amazon, или создать дополнительные сложности с настройкой. Успешное отделение PyTorch от Nvidia может иметь более серьезные последствия для Nvidia, чем просто конкуренция со стороны других производителей чипов. Брейс охарактеризовал эти усилия как устранение ограничений, которые мешали разработчикам иметь реальный выбор.