NVIDIA сегодня объявила о значительном расширении открытой платформы для разработки роботов NVIDIA Isaac™, добавив эталонный образец человеческого робота, соответствующий набор данных и среду выполнения, а также обновив фреймворк для обучения роботов.
С помощью этой технологии разработчики получают комплексное решение от сбора данных до внедрения, что позволяет быстрее выводить универсальных роботов в реальные условия.
Генеральные роботы развиваются стремительно, и «момент ChatGPT» в области робототехники уже на горизонте, — заявил основатель и генеральный директор NVIDIA Хуань Ренсюнь. «С помощью полностью открытой платформы NVIDIA Isaac для робототехники мы предоставляем разработчикам модели, данные, инструменты симуляции и вычислительные системы, чтобы внедрить физический ИИ в ключевые отрасли по всему миру».
Agile ONE SN — передовая платформа для исследований человеческих роботов
Agile Robots выпустила Agile ONE SN — полный стек эталонного робота-андроида, предварительно оснащенный NVIDIA Isaac GR00T и работающего на платформе NVIDIA Jetson Thor™ для краевого ИИ.
Разработчики роботов часто сталкиваются с большой проблемой: средства симуляции, обучения и развертывания разделены и сложно перенести навыки робота из среды разработки на физического робота. Agile ONE SN объединяет все инструменты и рабочие процессы в одной платформе, сокращая время подготовки к развертыванию с нескольких недель до нескольких дней.
Основные параметры Agile ONE SN:
- Agile ONE S: рост 1,4 м, вес 40 кг, 31 степень свободы, максимальная нагрузка на одну руку — 3 кг
- Пара WUJI Hand 2 с пятью пальцами: каждая рука имеет 20 степеней свободы, управление силой с частотой 1 кГц и тактильное восприятие для точного управления
- Встроенная вычислительная мощность NVIDIA Jetson Thor: FP4 — 2070 TFLOPS, унифицированная память 128 ГБ для инференса на борту и реального времени
- Мультимодальное восприятие: камеры на голове и запястье, лазерный сканер, инерциальный измерительный блок — восприятие и взаимодействие с окружающей средой
- Платформа NVIDIA Isaac GR00T: включает базовую крупномасштабную модель GR00T, полный рабочий процесс от сбора данных до развертывания и управление синхронизированным движением всего тела
- Безопасность: планируется интеграция с протоколами безопасности для роботов и подключение к полной стековой системе безопасности NVIDIA для роботов Halos
«Прорыв в роботах-андроидах заключается в масштабируемом практическом применении: машина, способная адаптироваться, осваивать множество навыков и работать в различных средах, созданных для людей», — заявил Чэнь Чжаопэн, основатель и генеральный директор Agibot. «Сегодня Agibot представляет Agile ONE SN — полностью открытую эталонную платформу робота-андроида на базе NVIDIA Isaac GR00T и Jetson Thor, предоставляя разработчикам готовую систему для разработки, обучения и проверки навыков, необходимых для внедрения роботов-андроидов».
Agile ONE SN ожидается в начале 2027 года, ориентирован на передовые разработки человеческих роботов; ведущие учреждения, такие как Стэнфордский университет и Швейцарская высшая техническая школа Цюриха, выразили интерес к сотрудничеству.
Новые технологии NVIDIA ускоряют обучение роботов: от данных до внедрения
Новая система инструментов NVIDIA помогает разработчикам генерировать обучающие данные, масштабировать обучение роботов, создавать симуляционные среды и развертывать робототехнические приложения, сокращая цикл разработки.
- SimReady Central Repository: более 2000 роботов и промышленных активов, готовых к использованию в симуляциях; набор данных Human 1M включает богатые данные о человеческих движениях, синхронизированные видео с нескольких углов и данные трехмерного отслеживания рук. Оба набора данных уже доступны на Hugging Face; полный набор данных Human 1M доступен только партнерам консорциума Cosmos.
- NVIDIA Isaac Lab 3.0 официально запущен: открытая платформа для обучения агентов, поддерживающая рабочие процессы с локальных рабочих станций до центров обработки данных и параллельную работу на нескольких GPU, с использованием Newton и физического движка NVIDIA PhysX™ для обучения и итерации робототехнических стратегий.
- NVIDIA Isaac OS: открытая среда выполнения, построенная на основе NVIDIA Holoscan, обеспечивающая интеграцию ИИ, сенсоров, блоков управления и робототехнического оборудования для детерминированного планирования в реальном времени от симуляции до физических роботов.
- NVIDIA выпустила три открытых эталонных рабочих процесса для DGX Station™: итеративная оптимизация модели GR00T 1.7 на основе обучения с подкреплением, обучение навыкам точного манипулирования в Isaac Lab, а также тонкая настройка мировой модели NVIDIA Cosmos™ с использованием ChatGPT Astra для генерации синтетических данных.
- NVIDIA Halos: полностековая безопасная платформа на основе NVIDIA IGX Thor™, которая помогает автономным транспортным средствам и роботам перейти от прототипов к безопасному и масштабируемому внедрению.
Активы репозитория SimReady на Hugging Face предоставлены: Comau, FANUC, ForgeCAD, Franka Robotics, LG Electronics, Palatial, Robotiq, Standard Bots, Universal Robots, Vertiv.
Рабочий поток открытого обучения робототехники от NVIDIA, работающий на DGX Station, поддерживается такими компаниями, как 1X, Siasun, Humanoid, Maven Robotics, Mentee, MicroAGI, Rhoda, Sereact и Skild AI.
Несколько робототехнических партнеров интегрировали Halos в свои архитектуры безопасности: Siasun, Agility, Dexory, FORT Robotics и KION — для решений безопасности складских роботов; SICK оценивает Halos для создания динамических возможностей безопасности промышленных роботов, преодолевая ограничения фиксированных безопасных зон и справляясь с динамически изменяющимися сценариями.
Advantech и NexCOBOT разрабатывают промышленную вычислительную платформу на базе NVIDIA IGX; Reynolds & Moore, Accenture и TÜV Süd ускоряют процесс сертификации безопасного внедрения промышленного физического ИИ.
Европейские производители роботов разрабатывают технологии на основе открытых решений NVIDIA
ABB роботы подключили библиотеки NVIDIA Omniverse™ к RobotStudio HyperReality для симуляции и виртуальной настройки роботизированных систем до запуска, охватывая множество отраслей. Группа KUKA подключила компоненты Omniverse в Visual Components FactoryLens для добавления реального времени рендеринга в симуляцию заводов. Sereact использует Isaac GR00T + Cosmos Transfer для обучения и тонкой настройки платформы Cortex, ориентированной на сортировку грузов, развернутой на промышленных роботах Universal Robots.
Humanoid разработал и проверил поведение роботов на базе Jetson Thor, Holoscan Sensor Bridge, Halos и Isaac OS до промышленного пилотного внедрения; Hexagon Robotics разработала способности восприятия AEON, включая телеприсутствие с видео, локализацию, картографирование и определение позы объектов; Bear Robotics ускорила восприятие и выполнение моделей KR1, дообучив Isaac GR00T с помощью Kino-2 для применения в складских, возвратных и промышленных сценариях.
Toyota Material Handling Europe и SoftServe используют Omniverse + NVIDIA Isaac Sim™ для разработки автономных решений для материального перемещения, сокращая сроки развертывания до 50%. Idealworks на основе открытых моделей NVIDIA и Jetson разрабатывает для автономных мобильных роботов заводов способность к запоминанию. ADI > Analog Devices (ADI) использует Jetson AGX Orin™ и библиотеку cuVSLAM для разработки автономных мобильных роботов.
Hugging Face и Pollen Robotics на основе Isaac Lab, Isaac Sim и Newton создали Microduck — небольшой открытый робот, предназначенный для разработчиков и студентов, чтобы обучать, изменять и делиться новыми эмбоди-поведениями. Franka Robotics интегрировала микросервисы NIM™ от NVIDIA и Isaac Sim для преобразования естественных языковых команд в действия механической руки Franka FR3 Duo. Bellboy использует Jetson и GR00T для управления роботом Billie — своим первым физическим AI-партнером, уже развернутым в отелях Marriott, Hilton, InterContinental и OYO.
Flexion использует Isaac Lab и Newton для масштабного обучения единой модели робототехнического интеллекта Reflect; Reflect объединяет логические рассуждения и полнотелое движение, выполняя сложные задачи на различных платформах. Schaeffler эксклюзивно предоставляет технологии исполнительных механизмов для Newton, совместно с Isaac Lab и Isaac Sim ускоряя разработку человеческих роботов.
NEURA Robotics использует Isaac Sim и Isaac Lab для генерации синтетических обучающих данных и обучения навыкам роботов для мультимодальной базовой модели Neuron AI в симуляционной среде.
Редактор: Люй Минлян