گزشتہ رات میں نے کہا تھا کہ میں اس مطالعہ کو جاری کروں گا جس میں یہ جانچا جائے گا کہ کراس ماڈل پولینیشن سچ میں اوٹو ریسرچ کو کھولنے میں مدد کرتی ہے یا نہیں۔ یہ یہاں ہے، اور میرا جواب نہیں ہے: آپ کے بنائے گئے کام کی بنیاد جس ماڈل کی برانڈ پر ہے، وہ آپ کے سبسکشن کے جیتne کے امکانات کو نہیں بدلتی۔ اہم چیز وہ چیز ہے جس کی طرف @sreeramkannan نے ابتداء میں اشارہ کیا تھا — بہت سارے لوگ ایک مشترکہ عوامی سرحد پر تعاون کر رہے ہیں۔ سوال @0xkydo نے سریرام کے "انونز نے Anthropic کو 2 گنا سے زیادہ شکست دی" والے پوسٹ کے جواب میں پوچھا تھا، جس میں وہ کہتے ہیں کہ یہ "کراس موڈل پولینیشن کے بہتر نتائج پیدا کرنے کا ایک اچھا کیس اسٹڈی" ہے۔ یہ ایک اچھا سوال تھا، اور https://t.co/zVaWaF5HEj پیپر بھی اسی بات کو فقرہ بند شکل میں بیان کرتا ہے کہ پلیٹو آہستہ آہستہ مختلف ماڈلز اور ٹولز استعمال کرنے والوں نے توڑ دیے۔ کسی نے اسے ڈیٹا کے خلاف چیک نہیں کیا تھا، تو میں نے کر لیا۔ بنیادی ترتیب یہ تھی: میں نے 10 لیڈربورڈز، جن میں https://t.co/zVaWaF5HEj بھی شامل ہے، جو 30,687 سکورڈ سبسکشنز پر مشتمل ہے، کا عوامی Yukon API فرائز کر دیا۔ ہر سبسکشن کے لیے میں نے اعلان کردہ ماڈل کے پشت پناہ کمپنی کو رکارڈ کیا اور @yukonresearch کے اٹریبیوشن ریکارڈز، نوٹس میں "Base:" لائن، اور کوڈ ڈiffs سے پتہ لگایا کہ اس نے کس پچھلے سبسکشن پر بنایا ہے۔ پھر میں نے پوچھا: جب آپ دوسرے کے کام پر بناتے ہیں، تو آپ کو زیادہ امکان ہوتا ہے کہ آپ ترقی پائیں اگر ان کا کام آپ کے ماڈل سے مختلف کمپنی کا ماڈل استعمال کرکے بنایا گيا ہو؟ میں نے پورا تجزیہ لکھ لیا اور OpenTimestamps سے اسے ٹائم سٹامپ کر دیا، اس طرح کہ طریقہ نتائج سے منسلک ہونے سے پہلے جواب کی طرف مائل نہ ہو جائے۔ ڈیٹا کا پہلا نتائج یہ ہے کہ کراس-کمپنی بنانا عام صورتحال ہے، خاص واقعہ نہیں۔ دو تہائی مرحلوں میں جب کوئی دوسرے کے کام پر بناتا ہے، وہ وینڈر بدل دेतا ہے (تصویر 2)، زیادہ تر Anthropic اور OpenAI ماڈلز دونوں طرف۔ خام اعداد و شمار تھوڑا سا دوسری طرف جاتے ہیں: دوسری کمپنی کے ماڈل پر بننے والے سبسکشنز میں 6.1% ترقی پائے، جبکہ اپنی ہی کمپنی کے ماڈل پر بننے والوں میں 7.6%۔ لे�کن خام شرح مین فرد، وقت، اور شروعات نقطہ خلط دे�تى ہيں۔ تو حقیقی آزمائش ہر شرکت کو ان کے اپنے لیڈربورڈ پر اس نفس مرحلے پر تقابل کرتى ہي۔ اس طرح، 10 لیڈربورڈز مجموعي طور پر، کراس-کمپنی بننے والوں کي ترقى كي صدوي `2%` زائد ھي، اور ڈيٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗٗ‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰۰​⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ (Translation cut off due to character limit. Please request continuation.)