Niantic sử dụng 3 tỷ ảnh Pokémon Go để huấn luyện hệ thống điều hướng robot

Tác giả: Will Douglas Heaven

Biên dịch: DeepTech Flow

Dẫn nhập của Shenchao: Niantic đã biến 30 tỷ bức ảnh thành phố do người chơi Pokémon Go chụp thành một ngành kinh doanh mới. Công ty con AI của nó, Niantic Spatial, đã sử dụng những dữ liệu này để huấn luyện một hệ thống định vị hình ảnh, đạt độ chính xác đến mức centimet, vượt xa hiệu suất của GPS trong các khu vực đô thị có nhiều tòa nhà cao. Khách hàng lớn đầu tiên là công ty robot giao hàng Coco Robotics. Từ việc bắt Pikachu đến giao pizza, đây có thể là một trong những con đường thương mại hóa bất ngờ nhất của dữ liệu cộng đồng.

Toàn văn như sau:

Pokémon Go là trò chơi AR đầu tiên trên toàn cầu đạt thành công hiện tượng. Được phát hành năm 2016 bởi Niantic, công ty con của Google, trò chơi này kết hợp yếu tố thực tế tăng cường vào nền tảng IP Pokémon và nhanh chóng lan rộng khắp thế giới. Từ Chicago đến Oslo đến đảo Enoshima, người chơi đổ ra đường phố, mong chờ bắt được một chú Pidgey, Squirtle, hoặc (nếu may mắn cực kỳ) một chiếc Galarian Zapdos cực kỳ hiếm — chúng lơ lửng trên thế giới thực, chỉ cách bạn một chút nữa là với tới.

Nói một cách đơn giản, điều này có nghĩa là hàng triệu người đang dùng điện thoại chụp ảnh hàng triệu tòa nhà. “Hơn 500 triệu người đã cài ứng dụng này trong 60 ngày,” Brian McClendon, CTO của Niantic Spatial, cho biết. Niantic Spatial là công ty AI được tách ra từ Niantic vào tháng 5 năm ngoái. Theo dữ liệu từ công ty trò chơi Scopely (đồng thời mua lại Pokémon Go từ Niantic), trò chơi này vẫn có hơn 100 triệu người chơi hoạt động vào năm 2024, dù đã ra mắt được 8 năm.

Hiện tại, Niantic Spatial đang sử dụng kho dữ liệu cộng đồng độc đáo này—những hình ảnh địa danh đô thị từ hàng trăm triệu điện thoại người chơi Pokémon Go trên toàn cầu, kèm theo dấu vị trí siêu chính xác—để xây dựng một mô hình thế giới (World Model). Đây là hướng công nghệ đang rất được quan tâm hiện nay, với mục tiêu gắn kết trí tuệ của LLM vào môi trường thực tế.

Sản phẩm mới nhất của công ty là một mô hình: chỉ cần vài ảnh chụp nhanh của các tòa nhà hoặc các địa danh khác, nó có thể xác định vị trí của bạn trên bản đồ chính xác đến vài centimet. Họ muốn sử dụng nó để giúp robot định vị chính xác hơn ở những khu vực mà GPS không đáng tin cậy.

Là lần xác thực quy mô lớn đầu tiên của công nghệ, Niantic Spatial vừa hợp tác với Coco Robotics — một công ty khởi nghiệp triển khai robot giao đồ ăn cuối cùng tại nhiều thành phố ở Mỹ và châu Âu. “Mọi người đều nghĩ AR là tương lai, kính AR sắp ra đời,” McClendon nói, “nhưng hóa ra robot lại trở thành người dùng đầu tiên.”

Coco Robotics đã triển khai khoảng 1.000 robot kích thước hành lý tại Los Angeles, Chicago, Jersey City, Miami và Helsinki, có thể chở tối đa 8 chiếc pizza cỡ lớn hoặc 4 túi đồ tạp hóa. Theo CEO Zach Rash, các robot này đã thực hiện hơn 500.000 lần giao hàng và di chuyển hàng triệu dặm trong mọi điều kiện thời tiết.

Nhưng để cạnh tranh với các tài xế người, robot của Coco (di chuyển với tốc độ khoảng 5 dặm/giờ trên vỉa hè) phải đủ đáng tin cậy. “Cách làm tốt nhất của chúng tôi là đến đúng thời gian bạn được thông báo,” Rash nói. Điều đó có nghĩa là không được đi lạc.

Vấn đề mà Coco gặp phải là không thể phụ thuộc vào GPS. Trong thành phố, tín hiệu vô tuyến phản xạ và can nhiễu lẫn nhau giữa các tòa nhà, khiến tín hiệu GPS rất yếu. “Chúng tôi thực hiện giao hàng ở nhiều khu vực dày đặc với các tòa nhà cao tầng, hầm chui và cầu vượt, nơi mà GPS gần như không bao giờ hoạt động tốt,” Rash nói.

“Thành phố峡谷 là nơi GPS hoạt động kém nhất trên toàn thế giới,” McClendon nói. “Bạn nhìn vào chấm xanh trên điện thoại, nó thường trôi dạt 50 mét, đưa bạn trực tiếp sang một con phố khác, hướng khác, hoặc phía bên kia đường.” Đó chính là vấn đề mà Niantic Spatial đang giải quyết.

Trong vài năm qua, Niantic Spatial đã thu thập dữ liệu từ người chơi của Pokémon Go và Ingress (trò chơi AR di động trước đó của Niantic ra mắt năm 2013) để xây dựng một hệ thống định vị hình ảnh (Visual Positioning System) — xác định vị trí của bạn dựa trên những gì bạn nhìn thấy. “Việc khiến Pikachu chạy thật sự trên đường phố và khiến robot của Coco di chuyển an toàn, chính xác qua thành phố về bản chất là cùng một vấn đề,” CEO của Niantic Spatial, John Hanke, nói.

“Visual positioning is not a new technology,” says Konrad Wenzel of digital mapping and geospatial analytics company ESRI, “but clearly, the more cameras out there, the better it works.”

Niantic Spatial đã huấn luyện mô hình bằng 30 tỷ hình ảnh được chụp trong môi trường đô thị. Những hình ảnh này đặc biệt tập trung dày đặc xung quanh các “điểm nóng” — những địa điểm quan trọng trong các trò chơi của Niantic khuyến khích người chơi đến, chẳng hạn như các phòng chiến Pokémon. “Chúng tôi có hơn một triệu địa điểm trên toàn thế giới, có thể xác định chính xác vị trí của bạn,” McClendon nói, “Chúng tôi biết bạn đang đứng ở đâu, với độ chính xác trong vài centimet. Quan trọng hơn, chúng tôi biết bạn đang nhìn về hướng nào.”

Kết quả là, đối với mỗi trong số 1 triệu địa điểm này, Niantic Spatial sở hữu hàng ngàn bức ảnh được chụp ở vị trí tương tự nhưng từ các góc độ khác nhau, vào các thời điểm khác nhau và trong các điều kiện thời tiết khác nhau. Mỗi bức ảnh đều đi kèm với dữ liệu siêu chi tiết: vị trí chính xác của điện thoại trong không gian lúc đó, hướng, tư thế, liệu nó có đang di chuyển hay không, tốc độ và hướng di chuyển, v.v.

Công ty sử dụng bộ dữ liệu này để huấn luyện mô hình, giúp nó dự đoán chính xác vị trí của mình thông qua những gì nó "nhìn thấy" — ngay cả ở những khu vực ngoài 1 triệu điểm nóng, nơi dữ liệu hình ảnh và vị trí tương đối khan hiếm.

Ngoài GPS, robot của Coco (được trang bị 4 camera) hiện còn sử dụng mô hình này để xác định vị trí hiện tại và điểm đến của nó. Các camera của robot được lắp đặt ở độ cao hông và hướng về mọi phía, góc nhìn có chút khác biệt so với người chơi Pokémon Go, nhưng Rash cho biết việc điều chỉnh dữ liệu không hề phức tạp.

Các đối thủ cạnh tranh cũng đang sử dụng hệ thống định vị hình ảnh. Ví dụ, công ty giao hàng robot Starship Technologies, được thành lập tại Estonia năm 2014, cho biết robot của họ sử dụng cảm biến để tạo bản đồ 3D của môi trường xung quanh, ghi lại các cạnh công trình và vị trí đèn đường.

Nhưng Rash đặt cược vào công nghệ của Niantic Spatial sẽ mang lại lợi thế cho Coco. Anh tin rằng điều này sẽ cho phép robot dừng chính xác tại vị trí lấy đồ bên ngoài nhà hàng, không cản trở bất kỳ ai, và dừng ngay trước cửa khách hàng thay vì cách đó vài bước—điều từng xảy ra trong quá khứ.

Khi Niantic Spatial bắt đầu phát triển hệ thống định vị hình ảnh, mục tiêu là sử dụng cho thực tế tăng cường, Hanke nói. “Nếu bạn đeo kính AR và mong muốn thế giới ảo được cố định theo hướng bạn nhìn, bạn cần một phương pháp nào đó để thực hiện điều đó. Nhưng hiện tại, chúng ta đang chứng kiến cuộc bùng nổ Cambrian trong lĩnh vực robot.”

Một số robot cần chia sẻ không gian với con người, chẳng hạn như công trường xây dựng và vỉa hè. “Nếu robot muốn hòa nhập vào những môi trường này một cách không làm phiền con người, chúng phải có khả năng hiểu không gian tương tự như con người,” Hanke nói. “Khi robot bị đẩy hoặc va chạm, chúng ta có thể giúp nó xác định chính xác vị trí của mình.”

Hợp tác với Coco Robotics chỉ là điểm khởi đầu. Hanke cho biết Niantic Spatial đang xây dựng những thành phần đầu tiên của cái mà ông gọi là “Bản đồ sống” (Living Map): một mô phỏng thế giới ảo siêu chính xác, thay đổi theo sự biến đổi của thế giới thực. Khi các robot của Coco và các công ty khác di chuyển khắp nơi trên thế giới, chúng sẽ cung cấp các nguồn dữ liệu bản đồ mới, giúp bản sao kỹ thuật số trở nên ngày càng tinh vi hơn.

Theo Hanke và McClendon, bản đồ không chỉ trở nên chi tiết hơn mà còn ngày càng được máy móc sử dụng nhiều hơn. Điều này đã thay đổi mục đích sử dụng bản đồ. Bản đồ đã lâu đời giúp con người định vị bản thân. Từ 2D đến 3D rồi đến 4D (hãy nghĩ đến các mô phỏng thời gian thực như số song sinh), nguyên lý cơ bản vẫn không thay đổi: các điểm trên bản đồ tương ứng với các điểm trong không gian hoặc thời gian.

Nhưng bản đồ dành cho máy móc có thể cần trở nên giống như sách hướng dẫn du lịch, chứa đầy những thông tin mà con người cho là hiển nhiên. Các công ty như Niantic Spatial và ESRI muốn thêm mô tả vào bản đồ, để thông báo cho máy móc biết chính xác những gì nó đang nhìn thấy, gán cho mỗi đối tượng một loạt thuộc tính. “Nhiệm vụ của thời đại này là xây dựng những mô tả thế giới hữu ích cho máy móc,” Hanke nói. “Dữ liệu chúng ta có là một điểm khởi đầu tốt để hiểu cách tổ chức kết nối của thế giới hoạt động.”

Hiện nay, các mô hình thế giới đang rất phổ biến, và Niantic Spatial hoàn toàn nhận thức được điều này. Các mô hình LLM trông như thể hiểu biết mọi thứ, nhưng lại thiếu sự hiểu biết thông thường khi diễn giải và tương tác với môi trường hàng ngày. Mô hình thế giới được tạo ra để giải quyết vấn đề này. Một số công ty, như Google DeepMind và World Labs, đang phát triển các mô hình có thể tạo ra ngay lập tức các thế giới ảo tưởng, sau đó sử dụng chúng làm môi trường huấn luyện cho các đại lý AI.

Niantic Spatial cho biết họ tiếp cận vấn đề này từ một góc độ khác. Nếu bạn làm bản đồ trở nên cực kỳ chi tiết, cuối cùng bạn sẽ ghi lại được mọi thứ, McClendon nói: “Chúng tôi chưa đến bước đó, nhưng chúng tôi muốn đạt đến đó. Hiện tại, tôi rất tập trung vào việc cố gắng tái tạo thế giới thực.”