Следующим большим направлением в области ИИ становится 3D-генерация.
От мультимодального генерирования и моделей мира до пространственного интеллекта и роботов с овеществленным интеллектом…
3D становится ядром следующего поколения ИИ.
А теперь величайший мастер в области графики и самая горячая компания в сфере AI 3D объединились.
Последние новости:
Тон Синь официально присоединилась к Meshy, основанной Ху Юаньмином.
Встреча старейшин Ху Юаньмина
Согласно последним данным, Тон Синь станет главным научным сотрудником компании Meshy, занимающейся ИИ и 3D-технологиями, и будет отвечать за разработку долгосрочной научной стратегии Meshy.
Это может означать, что два поколения наиболее представительных исследователей китайской графики — основатель Meshy Ху Юаньмин и Тон Син — совместно продвинут прорыв в области многомодальных моделей мира и систем реального времени.
Тон Синь ранее работала в Азиатском исследовательском институте Microsoft в течение 25 лет, возглавляя группу сетевой графики и занимая должность глобального исследовательского партнера.
Его исследовательские направления охватывают компьютерную графику и трехмерное компьютерное зрение, включая, но не ограничиваясь, захват и моделирование материалов, синтез текстур, обработка и моделирование трехмерной геометрии, анализ и моделирование светового транспорта, реализм-рендеринг, трехмерная анимация лица.
△
Компьютерная графика, проще говоря, занимается вопросом «как создавать, изменять и отображать трехмерный мир в компьютере».
Эта область играет фундаментальную роль в играх, кино и промышленном моделировании, а сегодня все больше становится инфраструктурой для восприятия и выражения ИИ.
Ведь не понимая трехмерность, ИИ не может по-настоящему понять и войти в физический мир.
А Тон Синь — один из ученых, наиболее глубоко и долго укоренившихся в этом направлении.
В 1999 году, сразу после защиты докторской диссертации в Тсингхуа, Тон Синь присоединился к только что созданному исследовательскому институту Microsoft в Китае — позже известному как Азиатский исследовательский институт Microsoft, «китайская Сандхерст».
За более чем двадцать лет здесь вышли无数核心人物, повлиявшие на компьютерные исследования в Китае и даже во всем мире — но это уже другая история.
Как один из первых исследователей Института исследований Азии, Тон Синь работает здесь уже 25 лет, пройдя путь от исследователя до глобального исследовательского партнера и руководителя группы сетевой графики.
Почти стал свидетелем всех важных моментов в развитии компьютерной графики в Китае.
△
За это время Тон Синь опубликовала большое количество статей в ведущих журналах и на ведущих конференциях, и ее цитирования в Google Scholar превысили 21 000.
Эти технологические исследования оставили Microsoft множество полезных вещей, включая API для разработки игр Xbox, программное обеспечение для совместимости с Xbox, драйверы трехмерной печати Windows и набор инструментов для разработки графики Direct3D и другие.
Кроме того, Тон Синь оставил Азиатскому исследовательскому институту еще одно «наследие»: группу специалистов, способных составить основу современного китайского сообщества компьютерной графики.
За 25 лет он сотрудничал, обменивался опытом и наставлял множество выдающихся исследователей.
Чжо Кун из Цзяньтанского университета, член ACM и IEEE, директор Национальной ключевой лаборатории CAD&CG, много лет сотрудничает с Тон Синь, исследуя от 3D-печати и вычислительного дизайна до NeRF и нейронной визуализации;
Сю Кунь из Циньхуа, доцент с постоянной должностью на кафедре информатики Циньхуа, лауреат национальной премии «Выдающийся молодой ученый», во время обучения в аспирантуре неоднократно сотрудничал с Тон Синь в публикации статей в SIGGRAPH;
Ван Пэншуй из Пекинского университета, ассистент-профессор Института Ван Сюань, с момента стажировки до должности старшего исследователя работал под руководством Тон Синь и сегодня является ведущим ученым в области трехмерного геометрического обучения…
Те, кто работал с ним, часто дают одинаковую оценку Тоньсину:
Доступный, всегда на передовой, способный вести строгие обсуждения по самым детальным техническим вопросам и объяснять сложные технические проблемы простым языком.
По мнению Тоньсина, компьютерная графика — это прикладная дисциплина компьютерных наук, и именно поэтому все исследовательские задачи возникают из реальных потребностей и появления новых устройств и новых данных.
Кроме того, Тон Синь также очень остроумен и весел, например, он описывает свои исследования так:
Моя семья, кроме того, что одобряет мою еду, часто шутит, что я с удовольствием провожу каждый день, глядя на трехмерные чайники и кроликов на экране, наслаждаясь собственным восторгом, но, похоже, мои дела не могут ни изменить мировую ситуацию, ни улучшить жизнь простых людей — я сам не понимаю, откуда у меня берется чувство достижения.
△
Это тот самый «Тонгляо», известный всем в кругу компьютерной графики, обладающий исключительно глубокими академическими знаниями, но при этом сохраняющий детскую доброжелательность и любознательность.
Тоже уместно.
ИИ для развлечения
Можно сказать, что на этом этапе в области компьютерной графики с Чжоу Синь может сравниться лишь такая звездная униторная компания, как Meshy.
Meshy — это первая компания, основанная Ху Юаньмином после защиты докторской диссертации в MIT; её задача проста: превращать текст и изображения в 3D-модели.
Сейчас Meshy объединяет 12 миллионов пользователей, и его клиенты охватывают половину из десяти крупнейших компаний по рыночной капитализации и оценке в мире.
В июле этого года Meshy завершила раунд финансирования серии B на сумму почти 4 млрд долларов США, после чего ее оценка превысила 10 млрд юаней.
Завоевала два рекорда в глобальной области AI 3D — наибольший объем финансирования в один раунд и самую высокую оценку, став самой дорогой компанией в этой области.
Однако, будь то более высокая скорость роста или более высокая оценка, они все еще слишком конкретны по сравнению с видением Meshy.
Ху Юаньмин, основатель Meshy.ai, чемпион школьных спортивных соревнований Янчжоуской средней школы на дистанции 400 метров, лауреат второго приза в песенном конкурсе класса Яо Цинхуа, доктор философии в области компьютерной графики MIT, номинант на премию SIGGRAPH за лучшую докторскую диссертацию, автор языка и компилятора Taichi.
△
Он поставил перед собой цель, которая звучит немного необычно:
ИИ для развлечения.
Его логическая цепочка такова.
В будущем, когда AGI решит множество проблем производительности, у человечества останется только одна ключевая проблема.
Как мы будем создавать, выражать и связываться? Главное, как мы обретем смысл?
Чтение, путешествия, игры, просмотр коротких сериалов… Эти занятия действительно могут приносить нам радость, однако в эпоху, когда свободного времени так много, мы «обязательно будем искать более новые и эффективные способы генерации радости и ощущения смысла».
Такой подход注定会被AI驱动。
Таким образом, «использование ИИ для доставления людям радости и ощущения смысла станет одной из самых важных проблем в ближайшие пять лет».
А Meshy хочет стать самой важной частью этой картины.
По словам Ху Юаньмина, их цель — «переосмыслить компьютерную графику на основе генеративного ИИ и найти глобально оптимальное решение для превращения воображения в реальность».
Что это значит?
Другими словами, сегодня AI 3D должен делать больше, чем просто использовать графику для более эффективного создания моделей, текстурирования и рендеринга.
В долгосрочной перспективе конечной целью AI 3D может стать материализация воображения.
Этот перспективный подход хорошо соответствует философии Тоньсина.
В 2016 году Тон Синь предложила решить проблемы everyone и everywhere в производстве графического контента, чтобы любой человек в любом месте мог создавать визуальный медиаконтент.
Сегодня, спустя десять лет, «все повсюду создают визуальный контент» превратилось в «позволяет любому человеку превратить свою фантазию в погружаемый и интерактивный мир всего лишь одной фразой».
Это, конечно, очень смелое желание.
Для достижения этого Meshy в настоящее время проводит фундаментальные технологические исследования на трех уровнях:
Прежде всего и прежде всего — переизобретение графики.
Для этого необходимо выйти за рамки локального оптимума, достигнутого в прошлом в рамках графических конвейеров компьютерной графики, и с помощью ИИ создать новую глобально оптимальную систему, не зависящую от «треугольников» — минимальных единиц, используемых GPU для рендеринга трехмерных объектов.
△
Во-вторых, необходимо создать систему управления.
Если новая графика больше похожа на съемочную группу, то для реализации AI for Fun необходима соответствующая система режиссуры.
Эта директорская система отвечает за создание механизмов работы мира и 3D-скелета, а также за реализацию реального написания сценария.
Наконец, инфраструктура.
Необходима инфраструктура для трехмерного создания и рендеринга с низкой задержкой, высоким качеством изображения и низкой стоимостью, поскольку даже мгновенная задержка в опыте AI for Fun будет усиленна в сотни раз.
Для этого необходимо переработать высокопроизводительную инфраструктуру, что напрямую связано с диссертацией Ху Юаньмина и основой языка программирования Taichi, разработанной в начале его стартапа Meshy.
За пределами этих базовых исследований новая модель Meshy также решает конкретные проблемы современной области AI 3D.
Например, проблема «контролируемости», то есть насколько результаты генерации соответствуют входному изображению, что проявляется в точности общих пропорций, разумности пространственного распределения и степени воспроизведения поверхностных деталей.
10 августа этого года Meshy выпустила Meshy-7, сделав значительный шаг в направлении геометрического выравнивания (geometry alignment), а именно:
В плане органичности модель воспроизводит детали, такие как мимика, анатомическая структура и складки кожи;
На твердых поверхностях и механических деталях все компоненты точно располагаются в заданных позициях изображения, и соседние компоненты не слипаются;
Текст и узоры в виде гравировки и рельефных изображений четкие и чистые, их можно напрямую использовать в промышленных процессах, таких как лазерная гравировка.
Следует отметить, что исследования Meshy в этих направлениях пересекаются с интересами Тоньсина, чьи последние научные направления находятся на пересечении 3D-генерации и генерации видео.
Как он задавал этот классический вопрос в 2024 году: «Являются ли трехмерные изображения лишь частным случаем генерации видео?»
То есть, если видео уже позволяет «видеть» объект с любого угла, необходимо ли нам явно создавать его трехмерную модель?
Ответ пока неясен.
Однако сейчас точно известно, что передовые исследования и инженерные наработки Тон Синь в области многомодального обучения ИИ могут продвинуть исследования Meshy еще дальше.
Mora: Превосходя мировую модель
На момент написания этой статьи Ху Юаньмин опубликовал новую работу команды Meshy — Mora, на своем официальном канале.
Mora — это аббревиатура от «Multimodal Open-world Real-time Architecture», что означает «мультимодальная открытая мировая реальная архитектура».
Это интересно, все могут почувствовать интерактивный игровой демо, созданный с его помощью.
Проще говоря, он состоит из трех частей головоломки:
Кодирующий агент, используемый для генерации каркаса игрового мира и исполняемого кода;
Генерация 3D, то есть важнейший компонент Meshy, может использоваться для обогащения скелета и генерации управляющих сигналов для видео-моделей;
Видео-модель принимает сигналы 3D-сцены и выводит финальное изображение и звук.
Ху Юаньмин назвал эту технологию «превосходящей мировые модели».
Довольно смело, как именно собираетесь превзойти?
Помните, как в январе этого года Google Genie 3 выпустил интерактивный демо-версию, заявив, что «это универсальная модель мира, позволяющая пользователям создавать реальные исследуемые среды с помощью текста».
За это Unity упала на 24%, Roblox — на 27%, рынок слишком воодушевлен: в будущем для создания игр не понадобятся игровые движки, достаточно будет одной видео-модели.
Однако спустя более полугода, попробовав все доступные демонстрации мировых моделей, Ху Юаньмин выделил восемь основных недостатков практически всех современных интерактивных видео-моделей.
Включая слабую согласованность, простую интерактивность, слабые физические вычислительные возможности, короткое время взаимодействия, невозможность поддержки сюжета и сложной логики, преимущественно одиночную игру, невозможность использования механизмов генерации на основе кодирования и высокую задержку.
Проще говоря, играть сложно.
Однако это, скорее всего, не проблема, которую можно решить только за счет оптимизации.
Существующие видеомодели сами по себе не обладают настоящим интеллектом; они по сути являются всего лишь рендерерами, и если продолжать двигаться по этому пути, в итоге получится только симулятор прогулок.
Мора идет противоположным путем: раз видеомодели не могут решить проблему 3D-согласованности, пусть они сосредоточатся на том, что должны делать лучше всего.
Пусть агент по кодированию создаст каркас, Meshy сгенерирует 3D-модель, а затем модель видео создаст изображение — так пространство будет стабильным, изысканным и интерактивным.
Видно, что старший Ху — настоящий страстный ветеран.
Однако Mora 1 пока находится на очень ранней стадии.
Это просто используется для проверки рамок. Затем в рамках этих рамок цель постепенно достигается за счет масштабирования.
Возвращаясь к вопросу Тун Синь, является ли трехмерное пространство лишь частным случаем генерации видео?
Mora дала предварительный ответ: по крайней мере на данный момент, им не обязательно быть взаимозаменяемыми — они могут выполнять свои функции при последовательной работе агентов кодирования.
Этот ответ, конечно, еще далеко не точен, но к этому моменту вопрос уже стал нечетким.
Это ощущение не было незнакомо для Тоньсина.
За два-три десятилетия он стал свидетелем волны за волной технологических потрясений: раньше создание 3D-графики полностью зависело от ручного написания правил, затем появились нейронные рендеры, и ИИ научился воспроизводить свет и тени по фотографиям; появилось генеративное ИИ, и реалистичные изображения больше не требовали 3D-конвейера; появились видеомодели, способные даже порождать динамические миры из ничего…
Новые технологии неоднократно ставят под сомнение границы традиционной графики: в каком виде должна продолжать существовать графика?
面对这个越发迫切的问题，童欣再一次出发了。
Он хочет вместе с самым творческим поколением молодежи создать новую графику.
Эта статья взята из официального аккаунта WeChat «Quantum Bit», автор: Чэн Цянь