পাঁচটি বিশ্ববিদ্যালয়ের দল ডিজিটাল মানুষের জন্য ভিজুয়াল-গাইডেড 3D নেভিগেশন ফ্রেমওয়ার্ক বিকাশ করেছে

ME সংবাদের মতে, ১৪ এপ্রিল (UTC+৮), 1M AI নিউজের মনিটরিংয়ের ভিত্তিতে, পেকিং বিশ্ববিদ্যালয়, কার্নেগি মেলন বিশ্ববিদ্যালয়, টংজি বিশ্ববিদ্যালয়, ক্যালিফোর্নিয়া বিশ্ববিদ্যালয়, লস এঞ্জেলস এবং মিশিগান বিশ্ববিদ্যালয়ের একটি সমন্বিত দল arXiv-এ VGHuman প্রকাশ করেছে, যা একটি এমবডিড AI ফ্রেমওয়ার্ক যা ডিজিটাল অ্যাজেন্টকে শুধুমাত্র দৃশ্যমান পরিপ্রেক্ষিতে অপরিচিত 3D পরিবেশে স্বয়ংক্রিয়ভাবে কাজ করতে সক্ষম করে। আগের ডিজিটাল অ্যাজেন্ট সিস্টেমগুলি সাধারণত পূর্বনির্ধারিত স্ক্রিপ্ট বা বিশেষ অবস্থা তথ্যের উপর নির্ভরশীল ছিল, VGHuman-এর উদ্দেশ্য হলো ডিজিটাল অ্যাজেন্টকে প্রকৃত চোখ দেওয়া, যাতে এটি নিজেই পথ দেখতে, পরিকল্পনা করতে এবং কাজ করতে পারে। ফ্রেমওয়ার্কটি দুটি স্তরে গঠিত। World Layer একক-ক্যামেরা ভিডিও থেকে সেমানটিকভাবে অঙ্কিত এবং কলিশন গ্রিডযুক্ত 3D গাউসিয়ান দৃশ্যগুলি পুনর্গঠন করে, যার অবরোধ-সচেতন ডিজাইনটি জটিল বহিরঙ্গনপরিবেশেও অবরুদ্ধ ছোটবড় বস্তুগুলি識別কে সক্ষম করে। Agent Layer-এ 3D-এর RGB-D (রঙ + 깊ি)感知를 갖춘 디지털 에이전트가 첫 번째 시점에서 공간 인식 시각적 힌트와 반복적 추론을 통해 계획을 생성하고, 최종적으로 확산 모델이 전체 신체 동작 시퀀스로 전환되어 캐릭터의 움직임을 구동합니다. 200개의 테스트 장면이 포함된 내비게이션 베이스라인에서, 단순 경로, 장애물 회피, 동적 보행자라는 세 가지 난이도 수준에서 VGHuman은 NaVILA, NaVid, Uni-NaVid 등 최고의 베이스라인보다 약 30% 높은 작업 성공률을 기록했으며, 충돌률은 동일하거나 더 낮았습니다. 프레임워크는 달리기, 점프 등 다양한 운동 스타일과 연속적인 여러 목표에 접근하는 장거리 계획도 지원합니다. 코드와 모델은 오픈소스로 공개될 예정이며, GitHub 저장소는 이미 구축되었습니다. (출처: BlockBeats)