Автор: Will Douglas Heaven
DeepWave TechFlow
Огляд Shenchao: Niantic перетворила 30 мільярдів міських фотографій, зроблених гравцями Pokémon Go, на новий бізнес. Її дочірня AI-компанія Niantic Spatial використала ці дані для навчання системи візуальної локації, яка досягає точності в сантиметри, значно перевершуючи GPS у міських каньйонах. Першим великим клієнтом стала компанія роботів-кур’єрів Coco Robotics. Від ловлі Пікачу до доставки піци — це може бути одним із найбільш неочікуваних шляхів комерціалізації даних, зібраних за допомогою краудсорсингу.
Повний текст:
Pokémon Go — це перша у світі феноменальна AR-гра. Випущена у 2016 році Niantic, дочірньою компанією Google, ця гра, яка поєднує інтелектуальну власність Pokémon з елементами доповненої реальності, швидко охопила весь світ. Від Чикаго до Осло та острова Ено гравці виходили на вулиці, сподіваючись зловити Пікчю, Сквертла або (якщо пощастить) надзвичайно рідкісну Галлеїську блискавичну пташку — їхні зображення навішувалися над реальним світом, лишаючись на крок від того, щоб їх можна було дотягнутися.
Просто кажучи, це означає, що маси людей фотографують смартфонами безліч будівель. «П’ять мільйонів людей завантажили цей додаток за 60 днів», — сказав генеральний директор Niantic Spatial Браян МакКлендон. Niantic Spatial — це компанія з штучним інтелектом, відокремлена Niantic у травні минулого року. За даними ігрової компанії Scopely (яка одночасно придбала у Niantic Pokémon Go), гра все ще має понад 100 мільйонів активних гравців у 2024 році, хоча з моменту випуску минуло вже 8 років.
Зараз Niantic Spatial використовує цей унікальний скарб зібранних даних — фотографії міських пам’яток від сотень мільйонів гравців Pokémon Go, з суперточними геометками — для створення світової моделі (World Model). Це поточна популярна напрямок технологій, спрямований на прив’язку інтелекту LLM до реальних середовищ.
Останнім продуктом компанії є модель, яка за допомогою кількох знімків будівель або інших地标 може визначити ваше місцезнаходження на карті з точністю до кількох сантиметрів. Вони хочуть використовувати її для допомоги роботам у досягненні більш точного навігації в місцях, де GPS ненадійний.
Як перша масштабна перевірка технології, Niantic Spatial недавно уклав партнерство з Coco Robotics — стартапом, який розгортає роботів для доставки їжі останньою милею в кількох містах США та Європи. «Усі вважали, що AR — це майбутнє, і AR- окуляри скоро з’являться», — сказав Макклендон, — «а насправді роботи стали першими користувачами».
Від Пікачу до доставки піци
Coco Robotics розгорнула близько 1000 роботів розміром з валізу в Лос-Анджелесі, Чикаго, Джерсі-Сіті, Маямі та Гельсінкі, які можуть перевозити до 8 надвеликих піц або 4 мішки з продуктами. За словами генерального директора Зака Раша, ці роботи виконали понад 500 000 доставок і подолали мільйони миль у різних погодних умовах.
Але щоб конкурувати з людськими кур’єрами, роботи Coco (які рухаються тротуарами зі швидкістю приблизно 5 миль на годину) повинні бути досить надійними. «Наш найкращий спосіб роботи — це прибуття точно в той час, який вам повідомили», — каже Раш. Це означає, що вони не повинні втрачати шлях.
Проблема, з якою стикається Coco, полягає в тому, що вона не може полагодитися на GPS. У місті радіосигнали відбиваються від будівель і заважають один одному, через що сигнал GPS слабкий. «Ми здійснюємо доставку в багатьох щільно забудованих районах з високими будівлями, підземними переходами та естакадами, де GPS майже ніколи не працює», — каже Раш.
«Міські каньйони — це місця, де GPS працює найгірше у світі», — сказав Макклендон. «Ви бачите синю точку на своєму телефоні, яка часто зміщується на 50 метрів, переносячи вас на інший квартал, в іншому напрямку, на інший бік вулиці». Ось у чому полягає проблема, яку має вирішити Niantic Spatial.
Протягом останніх кількох років Niantic Spatial збирала дані від гравців Pokémon Go та Ingress (попередньої мобільної AR-гри Niantic, випущеної у 2013 році), щоб створити систему візуального позиціонування (Visual Positioning System) — визначати ваше місцезнаходження на основі того, що ви бачите. «Зробити Пікачу справжнім, щоб він бігав вулицями, і забезпечити безпечне та точне переміщення робота Coco по місту — це суттєво одна й та ж проблема», — сказав генеральний директор Niantic Spatial Джон Ханке.
«Візуальне позиціонування — це не щось нове», — каже Конрад Венцель із компанії з цифрових карт та геопросторового аналізу ESRI, «але очевидно, що чим більше камер навколо, тим краще воно працює».
Niantic Spatial навчав модель на 30 мільярдах зображень, зроблених у міських середовищах. Ці зображення особливо щільно згруповані навколо «горячих точок» — важливих місць, які Niantic ігри закликають гравців відвідувати, наприклад, гімназії для битв Покемонів. «У нас є понад мільйон місць по всьому світу, які точно визначають ваше розташування», — каже Макклендон, — «Ми знаємо, де ви стоїте, з точністю до кількох сантиметрів. І що важливіше, ми знаємо, в якому напрямку ви дивитеся».
Як результат, для кожного з цих мільйона місць Niantic Spatial має тисячі фотографій, зроблених майже в тій самій локації, але під різними кутами, у різний час і за різних погодних умов. Кожна фотографія супроводжується детальними метаданими: точне місце, орієнтація, положення, чи був телефон у русі, швидкість і напрямок тощо.
Компанія використала цей набір даних для навчання моделі, щоб вона могла точно передбачати своє місцезнаходження, «бачачи» те, що її оточує — навіть поза межами мільйона точок доступу, де дані зображень і місцезнаходження є відносно обмеженими.
Крім GPS, роботи Coco (з чотирма камерами) тепер використовують цю модель, щоб визначити, де вони знаходяться та куди мають піти. Камери робота встановлені на рівні стегон і орієнтовані у всіх напрямках, що дає трохи інший кут огляду, ніж у гравців Pokémon Go, але, за словами Раша, адаптація даних не є складною.
Конкуренти також використовують системи візуального позиціонування. Наприклад, компанія Starship Technologies, заснована в Естонії в 2014 році, стверджує, що її роботи використовують датчики для побудови 3D-карти оточуючого середовища, позначаючи краї будівель та місця розташування ліхтарів.
Але Раш вірить, що технологія Niantic Spatial надасть Coco перевагу. Він вважає, що це дозволить роботам точно зупинятися в правильному місці для отримання замовлення біля ресторану, не перекриваючи шлях нікому, і зупинятися саме біля дверей клієнта, а не за кілька кроків — раніше таке траплялося.
Камбрійський вибух роботів
Коли Niantic Spatial почав розробку системи візуальної локації, метою було використання її у доповненій реальності, — сказав Ханке. «Якщо ви носите AR- окуляри і бажаєте, щоб віртуальний світ був прив’язаний до того, на що ви дивитеся, потрібен якийсь спосіб зробити це. Але зараз ми стаємо свідками кембрійського вибуху в робототехніці».
Деякі роботи повинні поділяти простір з людьми, наприклад, на будівельних майданчиках і тротуарах. «Якщо роботи мають інтегруватися в ці середовища без перешкод для людей, вони повинні мати просторове розуміння, подібне до людського», — каже Ханке. «Коли робота штовхають або зіштовхують, ми можемо допомогти їй точно визначити своє місцезнаходження».
Співпраця з Coco Robotics — це лише початок. Ханке каже, що Niantic Spatial розробляє перші компоненти того, що він називає «живою картою»: надто точна віртуальна симуляція світу, яка змінюється разом із реальним світом. Коли роботи Coco та інших компаній будуть рухатися по всьому світу, вони надаватимуть нові джерела картографічних даних, роблячи цифрову копію все більш детальною.
За поглядом Ханке та МакКлендона, карти не лише стають дедалі докладнішими, а й все частіше використовуються машинами. Це змінює призначення карт. Карти довгий час допомагали людям орієнтуватися. Від 2D до 3D і далі до 4D (подумайте про такі речі, як цифрові близнюки — реальний час симуляцій), основний принцип залишається незмінним: точки на карті відповідають точкам у просторі або часі.
Але карти, призначені для машин, можуть стати більш схожими на путівник, наповнені інформацією, яку люди вважають само собою зрозумілою. Компанії, такі як Niantic Spatial і ESRI, хочуть додати до карт описи, які повідомляють машинам, що вони фактично бачать, позначаючи кожен об’єкт серією атрибутів. «Завдання цієї епохи — створити корисні описи світу для машин», — каже Ханке. «Наші дані є чудовою вихідною точкою для розуміння того, як працює зв’язуюча структура світу».
Зараз моделі світу дуже популярні, і Niantic Spatial це добре розуміє. Великі мовні моделі виглядають так, наче все знають, але майже не мають загального розуміння при інтерпретації та взаємодії з повсякденним оточенням. Моделі світу призначені саме для вирішення цієї проблеми. Деякі компанії, такі як Google DeepMind і World Labs, розробляють моделі, які можуть миттєво генерувати віртуальні фантастичні світи, а потім використовувати їх як тренувальну базу для AI-агентів.
Niantic Spatial стверджують, що підходять до цієї проблеми з іншого боку. Якщо зробити карту досить досконалою, ви в кінцевому підсумку захопите все, — сказав Макклендон: «Ми ще не дійшли до цього, але хочемо туди дійти. Зараз я дуже зосереджений на спробах відтворити реальний світ».