Ginagamit ng Niantic ang 3 bilyong mga larawan ng Pokémon Go upang itrain ang sistema ng pag-navigate ng robot

May-akda: Will Douglas Heaven

DeepChain TechFlow

DeepTide Guide: Ginawa ng Niantic ang 30 bilyong larawan ng lungsod na kinuha ng mga player ng Pokémon Go bilang isang bagong negosyo. Ginamit ng kanilang AI subsidiary, ang Niantic Spatial, ang mga data na ito upang turuan ang isang sistema ng visual localization na nakakamit ng precision sa antas ng centimetro, na mas mataas kaysa sa performance ng GPS sa mga urban canyon. Ang unang malaking kliyente ay ang kumpanya ng robot sa pagdadala ng pagkain, ang Coco Robotics. Mula sa paghuli sa Pikachu hanggang sa pagdadala ng pizza, maaaring ito ay isa sa pinakamalaking at hindi inaasahang paraan ng komersyalisasyon ng crowd-sourced data.

Ang buong teksto ay sumusunod:

Ang Pokémon Go ay ang unang global phenomenon na AR game. Ipinakilala noong 2016 ng Niantic, isang subsidiary ng Google, ang laro na nagdaragdag ng augmented reality gameplay sa batayang Pokémon IP ay agad na sumakop sa buong mundo. Mula sa Chicago hanggang Oslo hanggang sa Island of Enoshima, ang mga manlalaro ay sumisikat sa kalsada, umaasa na makakuha ng isang Pidgey, Squirtle, o (kung may malaking tibay ng tadhana) isang napakakakaunting Galarian Zapdos—nagkakaroon sila ng pagkakataong huminga sa itaas ng realidad, kung saan ang pagkakaroon ng isang hakbang pa lang ang naghihiwalay sa kanila.

Sa madaling salita, ibig sabihin nito ay maraming tao ang gumagamit ng kanilang mga telepono upang mag-photo ng maraming gusali. “Limang milyong tao ang nag-install ng app sa loob ng 60 araw,” ayon kay Brian McClendon, CTO ng Niantic Spatial. Ang Niantic Spatial ay isang AI company na hiwalay ni Niantic noong Mayo ng nakaraang taon. Ayon sa datos ng game company na Scopely (na bumili ng Pokémon Go mula sa Niantic sa parehong panahon), mayroon pa ring higit sa 100 milyong aktibong player ang laro noong 2024, na 8 taon na mula sa paglunsad.

Ngayon, ang Niantic Spatial ay gumagamit ng hindi kapani-paniwalang koleksyon ng crowd-sourced na data—mga larawan ng mga landmark sa lungsod mula sa mga cellphone ng milyun-milyon na player ng Pokémon Go na may eksaktong pagmarka ng lokasyon—upang buuin ang isang World Model. Ito ang kasalukuyang sikat na direksyon sa teknolohiya, na may layuning i-anchored ang智能化 ng LLM sa mga tunay na mundo.

Ang pinakabagong produkto ng kumpanya ay isang modelo: kailangan lang ng ilang larawan ng mga gusali o iba pang mga landmark upang matukoy ang posisyon mo sa mapa nang tumpak sa ilang sentimetro. Gusto nilang gamitin ito upang tulungan ang mga robot na makamit ang mas tumpak na navigasyon sa mga lugar kung saan ang GPS ay hindi maaasahan.

Bilang unang malawakang pagsubok sa teknolohiya, ang Niantic Spatial ay nagkaroon ng pagkakasundo kasama ang Coco Robotics. Ang Coco ay isang startup na nag-deploy ng mga robot para sa huling kilometro ng paghahatid ng pagkain sa iba't ibang lungsod sa Amerika at Europa. "Lahat ay naniniwala na ang AR ay ang kinabukasan, at ang AR glasses ay darating na," sabi ni McClendon, "ngunit ang mga robot ang naging mga user muna."

Ang Coco Robotics ay nag-deploy ng halos 1,000 mga robot na laki ng kahon ng kagamitan sa Los Angeles, Chicago, Jersey City, Miami, at Helsinki, na kayang magdala ng hanggang 8 na sobrang malaking pizza o 4 na bag ng mga bilihin. Ayon kay CEO Zach Rash, ang mga robot na ito ay nakakumpleto na ng higit sa 500,000 mga pagdadala at nakapaglakad na ng milyon-milyon na milya sa iba’t ibang kondisyon ng panahon.

Ngunit upang makipagkumpetensya sa mga tao, kailangan ng mga robot ni Coco (na naglalakad sa mga trotinette sa halos 5 milya bawat oras) na sapat na maaasahan. “Ang pinakamahusay nating paraan ay dumating nang maayos sa oras na sinabi namin sa iyo,” sabi ni Rash. Ibig sabihin, hindi dapat mawala.

Ang problema ni Coco ay ang kawalan ng kakayahang magtiwala sa GPS. Sa mga lungsod, ang mga signal ng radyo ay bumabalewala at nagkakainterferensya sa pagitan ng mga gusali, kaya mahina ang GPS signal. "Marami kaming nagdadala sa mga malalaking lugar na may mataas na gusali, tunnel, at elevated highways, kung saan ang GPS ay halos laging hindi gumagana," sabi ni Rash.

“Ang mga urban canyon ay ang mga lugar kung saan ang GPS ay nagtatampok ng pinakamababang performance sa buong mundo,” sabi ni McClendon. “Tingnan mo ang blue dot sa iyong telepono, madalas itong lumipat ng 50 metro, at isasama ka nito sa ibang bloke, ibang direksyon, o sa kabilang panig ng kalsada.” Ito ang problema na solusyunan ng Niantic Spatial.

Sa mga nakalipas na taon, ang Niantic Spatial ay nag-ayos ng data na ginawa ng mga manlalaro ng Pokémon Go at Ingress (ang nakaraang mobile AR game ng Niantic na ipinakilala noong 2013) upang bumuo ng isang visual positioning system—na nagtataya kung saan ka nasa pamamagitan ng mga bagay na nakikita mo. “Ang paggawa ng Pikachu na tumatakbo nang totoo sa kalye at ang pagpapalakas ng robot ni Coco upang ligtas at tumpak na lumakad sa lungsod ay parehong isang problema,” sabi ni John Hanke, CEO ng Niantic Spatial.

“Hindi bagong teknolohiya ang visual localization,” sabi ni Konrad Wenzel ng ESRI, isang kumpanya ng digital na mapa at geospatial na analisis, “ngunit malinaw na mas masisikat ito kung mas marami ang mga camera sa labas.”

Binuo ng Niantic Spatial ang modelo gamit ang 30 bilyon na larawan na kinuha sa mga urban na kaligiran. Ang mga larawang ito ay lalo na malalim na nakalikom sa paligid ng mga “hotspots”—mga mahalagang lokasyon sa mga laro ng Niantic na nag-uudyok sa mga player na pumunta, tulad ng mga Pokemon Battle Gyms. “Mayroon kaming higit sa isang milyon na lokasyon sa buong mundo na makakapag-identify ng iyong posisyon nang tumpak,” ayon kay McClendon, “Alam namin kung saan ka naka-stand, sa precision na ilang sentimetro lamang. Mas mahalaga pa, alam namin kung saan ka tumitingin.”

Bilang resulta, para sa bawat isa sa mga 1 milyong lokasyon, mayroon ang Niantic Spatial ng libu-libong larawan na kinuha sa halos parehong lokasyon, ngunit sa iba’t ibang anggulo, panahon, at kondisyon ng panahon. Ang bawat larawan ay kasama ng detalyadong metadata: eksaktong posisyon, direksyon, pagkakahawak, paggalaw, bilis, at direksyon ng telepono sa espasyo noong oras na kinuha.

Ginamit ng kumpanya ang dataset na ito upang turuan ang modelo na makapag-predict nang tumpak ng sariling posisyon sa pamamagitan ng "nakikita nito"—kahit sa mga lugar na labas ng 1 milyong hotspot kung saan ang mga imahe at data ng posisyon ay kakaunti.

Kung saan ang GPS, ang robot ni Coco (na may 4 na camera) ay gumagamit ng modelo na ito upang matukoy kung saan ito nasaan at kung saan ito pupunta. Ang mga camera ng robot ay nakakabit sa antas ng balakang at nakatutok sa lahat ng direksyon, na may pananaw na kaunting iba sa mga manlalaro ng Pokémon Go, ngunit sinabi ni Rash na ang pagpapadapt ng data ay hindi kumplikado.

Gumagamit din ang mga kalaban ng sistemang visual positioning. Halimbawa, ang Starship Technologies, isang kompanya ng robot delivery na itinatag sa Estonia noong 2014, ay nagsasabi na ginagamit ng kanilang mga robot ang mga sensor upang buuin ang 3D map ng kanilang paligid, at tandaan ang mga edge ng mga gusali at posisyon ng mga ilaw sa kalye.

Ngunit pinaniniwalaan ni Rash na ang teknolohiya ng Niantic Spatial ay magdudulot ng kahusayan sa Coco. Naniniwala siya na ito ay magpapahintulot sa mga robot na tumigil nang tama sa tamang lugar sa labas ng restaurant, hindi nakakabawas sa anumang tao, at tumigil sa harap ng bahay ng customer kaysa magkamali ng ilang hakbang—isang sitwasyon na minsan ay nangyayari sa nakaraan.

Noong unang sinimulan ng Niantic Spatial ang kanilang visual positioning system, ang layunin ay para sa augmented reality, ayon kay Hanke. “Kung ikaw ay may AR glasses at nais mong i-lock ang virtual world sa direksyon kung saan ikaw tumitingin, kailangan mo ng isang paraan upang gawin ito. Ngunit ngayon, aming pinapansin ang Cambrian explosion sa larangan ng robotics.”

Ang ilang robot ay kailangang magbahagi ng espasyo kasama ang mga tao, tulad ng mga pagsasakang gusali at mga trotuar. “Kung gusto ng mga robot na makilala sa mga kapaligirang ito nang hindi magdulot ng pagkakaabala sa mga tao, kailangan nilang magkaroon ng kakayahang maunawaan ang espasyo na katulad ng mga tao,” sabi ni Hanke. “Kapag hinila o naaayos ang robot, makakatulong kami sa pagkakaroon nito ng eksaktong pag-unawa kung saan ito nasaan.”

Ang pagtatrabaho kasama ang Coco Robotics ay ang simula lamang. Sinabi ni Hanke na ang Niantic Spatial ay nagtatayo ng mga unang komponente ng kanyang tinatawag na “Living Map”: isang ultra-mataas na pagkakatumpak na virtual na mundo na sumusunod sa pagbabago sa totoong mundo. Habang ang mga robot ng Coco at iba pang mga kumpanya ay naglalakbay sa buong mundo, sila ay magdadala ng mga bagong pinagkukunan ng data sa mapa, na gagawing mas detalyado ang kopya ng digital na mundo.

Sa pananaw ni Hanke at McClendon, ang mga mapa ay hindi lamang nagiging mas detalyado, kundi pati na rin ay lalong madalas na ginagamit ng mga makina. Ito ang nagbago sa paggamit ng mga mapa. Matagal nang tumutulong ang mga mapa sa mga tao upang matukoy ang kanilang lokasyon. Mula sa 2D patungo sa 3D at pagkatapos sa 4D (isipin ang mga real-time na simulasyon tulad ng digital twins), ang pangunahing prinsipyo ay nananatili: ang mga punto sa mapa ay tumutugma sa mga punto sa espasyo o panahon.

Ngunit ang mga mapa na para sa mga makina ay maaaring kailangang maging tulad ng isang gabay sa paglalakbay, puno ng impormasyon na itinuturing ng mga tao bilang natural. Ang mga kumpanya tulad ng Niantic Spatial at ESRI ay nagnanais na dagdagan ang mga mapa ng mga deskripsyon upang sabihin sa mga makina kung ano ang kanilang tunay na nakikita, at i-label ang bawat bagay ng isang hanay ng mga katangian. “Ang misyon ng panahong ito ay bumuo ng makabuluhang deskripsyon ng mundo para sa mga makina,” sabi ni Hanke. “Ang aming mga data ay isang mabuting simula sa pag-unawa kung paano gumagana ang koneksyon at organisasyon ng mundo.”

Sobrang popular ng world models ngayon, at malinaw sa Niantic Spatial ang punto na ito. Ang LLM ay tila alam lahat, ngunit kulang sa pang-araw-araw na kamalayan sa pagpapakahulugan at pakikipag-ugnayan sa kapaligiran. Ang world models ay para lutasin ang problema na ito. Ilan sa mga kumpanya, tulad ng Google DeepMind at World Labs, ay nagpapalawak ng mga model na makakagawa ng mga virtual na mundo sa real-time, at gagamitin ang mga ito bilang mga training ground para sa AI agents.

Sinasabi ng Niantic Spatial na sila ay sumisigla sa problema mula sa iba’t ibang pananaw. Kung gagawin mo ang mapa nang sapat na ekstrimo, hahawakan mo ang lahat ng bagay, sabi ni McClendon: “Hindi pa tayo doon, ngunit nais naming makarating doon. Sa kasalukuyan, napakalaking fokus ko sa pagsubok na muling buuin ang totoong mundo.”