মিডিয়া রিপোর্ট অনুসারে, ওপেনএআই এর আসন্ন আস্ট্রা মডেলটি রিকারেন্ট ডেপ্থ (যা লুপড ট্রান্সফরমার নামেও পরিচিত) আর্কিটেকচার ব্যবহার করে।
সাধারণ Transformer-এর মতো প্রতিটি টোকেন উত্পাদনের জন্য স্থিরভাবে সমস্ত স্তর অতিক্রম করার বদলে, আস্ট্রা একই তথ্যকে একই সেটের স্তরগুলির মধ্যে বারবার পাঠাতে দেয়, এবং একাধিক চক্রের গণনার পরে আউটপুট দেয়। বাইটডান্স গত বছর এই ধরনের পথটি প্রকাশ করেছিল।
তাদের Seed টিম দ্বারা প্রকাশিত Ouro একটি লুপড ল্যাঙ্গুয়েজ মডেল, যা ট্রান্সফরমার স্তরগুলির একটি গ্রুপকে পুনরাবৃত্তি করে চলে, যার ফলে আরও বেশি গণনা মডেলের ভিতরে এমবেড হয়, যার ফলে ছোট মডেলগুলি যুক্তিপূর্ণ গণনা বাড়িয়ে বড় মডেলগুলির কাছাকাছি ফলাফল অর্জন করে।
এই আর্কিটেকচার নিরাপত্তার ঝুঁকি তৈরি করে: কিছু যুক্তিসহ প্রক্রিয়া অন্তর্নিহিত অবস্থায় ঘটে, যেখানে মানুষ সম্পূর্ণ টেক্সট রেকর্ড দেখতে পায় না, এবং মডেলের অনুমতিবিহীন কাজের জন্য চিন্তার শৃঙ্খল পরীক্ষা করা আরও কঠিন হয়ে পড়ে।
অতএব, ওপেনএআই এস্ট্রার রিকারেন্ট ডেপ্থ ব্যবহারকে সীমিত করেছে, পাঠযোগ্য থিংকিং চেইন বজায় রেখেছে এবং অতিরিক্ত কোটি মনিটরিং যোগ করার পরিকল্পনা করেছে।