[Gerçek gösteri: 10 adet, nesne teması: 0/20. 50 daha fazla simülasyon ekleyin: 17/20] @KaitoAI X @axisrobotics Axis katılımı bağlantısı (referans): https://t.co/hUbWSVsBVR Robotlara yeni görevler öğretmek, gerçek ekipmanlarda gösteri verileri toplamak için çok zaman ve maliyet gerektirir. Robotu hazırlamak, çalışma alanını ayarlamak, bir insanın doğrudan kontrolüyle onlarca veya yüzlerce kayıt yapmak gerekir; nesne veya çevre değiştiğinde yeni verilere ihtiyaç duyulur. Axis ve @boosterobotics, son zamanlarda Booster’un çift kollu robotunu kullanarak gerçek gösterilerle Axis’in simülasyon trajektorilerini karıştırdıklarında öğrenme sonuçlarının nasıl değiştiğini deneyledi. Kullanılan görevler: kalem alma ve kulaklık kılıfı alma idi. Robotun nesneye temas edip etmediğini, gripper ile tutup tutmadığını ve gerçekten kaldırdığını ayrı ayrı değerlendirdiler; tüm politikalar aynı Pi0.5 model kontrol noktasından başladı. Axis Suite, gerçek çalışma alanını kısa bir video ile çekerek önceden eğitilmiş 2D-3D modeliyle görev için dijital ikizi oluşturabilir. Oluşturulan sahne Axis Hub’a dağıtıldı ve birçok katkıda bulunan, fiziksel robotu olmasa bile aynı görevin simülasyon trajektorilerini oluşturabiliyor. Nesne konumu, kamera açısı, aydınlatma, malzeme, arka plan ve çevredeki nesneler değiştirilerek aynı görev farklı koşullarda tekrarlanıyor. Kulaklık kılıfı ile yapılan düşük-veri deneyinde 10 gerçek gösteri kullanıldı. Bu verilerle eğitilen politika, gerçek Booster robotunda 20 kez çalıştırıldığında hedef nesneye hiç temas edemedi. 10 gerçek gösteri aynen bırakılarak 50 Axis simülasyon trajektorisi eklenen politika, 20 denemede 17 kez nesneye temas etti. 6’sı gripper aşamasına kadar ilerledi ve bunların 2’si kulaklık kılıfını kaldırmayı başardı. Daha fazla veriyle gerçekleştirilen fiziksel robot değerlendirmelerinde çeşitli kombinasyonlar test edildi. Kalem görevinde sadece gerçek veriyle eğitilen politika %35 kaldırma oranına ulaştı; simülasyon oranı %67 olan koşulda %40 oldu. Kulaklık kılıfı için sadece gerçek veri %30, simülasyon oranı %50 olan koşulda %40 oldu. Her koşul fiziksel robot üzerinde 20 kez çalıştırmayla test edildi ve toplam değerlendirme 240 rollout ile tamamlandı. Simülasyonda nesne konumu, açı ve arka plan gibi koşullar hızlıca değiştirilerek tekrarlı veriler üretilebilir. Gerçek gösterilerde kamera özellikleri, aktüatör tepkisi, gripper zamanlaması, temas ve yürütme hataları gibi fiziksel ekipmandan kaynaklanan bilgiler yer alır. Bu iki görevde en yüksek kaldırma oranı, gerçek gösterilerle göreve uygun simülasyon verilerinin birlikte kullanılması durumunda elde edildi. Axis ve Booster, çeşitli görevlerde toplanan verileri kullanarak Booster’a özel başlangıç modeli de oluşturdu. Bu model, yeni bir görevi eğitmeye başlamadan önce Booster’un kamera konfigürasyonunu, iki adet 7-DoF kolunu, gripper’ını, eylem temsillerini ve temel hareketleri önceden öğrenmiş durumda. Simülasyon orijinali 95 depo ve 76 dil komutu üzerindeki 44.039 epizottan oluşuyordu. Statik trajektoriler ve kullanılan kolun ayrıntılı olarak tanımlanamadığı kayıtlar çıkarıldıktan sonra 42.046 epizot ve 3.249.835 çerçeve kaldı; 5 Hz oranıyla yaklaşık 180,55 saatlik veri. Başarı durumu, telemetry ve gözlem verileriyle tamamlanmış Booster’un gerçek gösterileri de eğitimde kullanıldı. Bu verilerle Pi0.5 modeli tam parametreli devam eden ön-eğitimden geçirildikten sonra kalem ve kulaklık kılıfı görevlerine uyarlandı. Görev başına 30 gösteri kullanıldığında Booster’a özel model, 16 denemede 14’ünde yaklaşım - gripper kapanma - yukarı hareket sırasını başarıyla tamamladı. Orijinal Pi0.5 modeli aynı 30 gösteri koşulunda 6/16, gösteriler 60’a çıkarıldığında ise 10/16 oldu. Görev bazlı ek eğitimden önce zero-shot simülasyonda bile ortalama bilek-hedef mesafesi 17,27 cm’den 5,78 cm’e düştü; komut alınmayan kolun hareket mesafesi ise 5,04 rad’den 0,25 rad’e indi. Sayılar Axis ve Booster’un ortak deneylerinin sonuçlarıdır. Bağımsız olarak bu sonuçların tekrarlanmasını sağlayan bir araştırma henüz yayınlanmamıştır. 10 gerçek gösteri ve 50 simülasyonla yapılan düşük-veri değerlendirmesi fiziksel Booster robotunda yapıldı; Booster’a özel modelin 30 ve 60 gösteri karşılaştırması Isaac Sim’de yapıldı. Bu iki değerlendirme sonucunda elde edilen sayılar tek bir fiziksel robot performans göstergesi olarak birleştirilemez. Axis Hub’da oluşturulan simülasyon trajektorileri nesne konfigürasyonu ve görsel koşulları çeşitlendirmek için kullanıldı; Booster’un gerçek gösterileri fiziksel robotun temas ve yürütme özelliklerini eğitime dahil etmek için kullanıldı. Farklı görevlerden toplanan veriler, Booster’un vücut yapısı ve kontrol yöntemine aşina bir başlangıç modelinin oluşturulmasında da kullanıldı.Tarayıcıda toplanan Trajectory, Booster'un fiziksel robot değerlendirmesi ve ilk model eğitimi için gerçekten kullanıldı. #PhysicalAI #RobotLearning