BlockBeats کی خبر، 3 مارچ، ڈیولپر منجیت سنگھ (گٹہب: maderix) نے Claude Opus کے ساتھ تعاون کیا اور Apple کے غیر من公开 پرائیویٹ API کو ریورس انجینئرنگ کرکے، M4 چپ کے Apple Neural Engine (ANE) پر بیک ورڈ پروپیگیشن کے ساتھ نیورل نیٹ ورک ٹریننگ کو پہلی بار ممکن بنایا۔ ANE Apple کا ایک ایسا ایکسلریٹر ہے جو صرف انفرنس کے لیے ڈیزائن کیا گیا ہے، اور آفیشل طور پر ٹریننگ کی صلاحیت کبھی بھی درپیش نہیں کی گئی، اس لیے ڈیولپرز صرف CoreML فریم ورک کے ذریعے اس کے انفرنس فنکشن تک پہنچ سکتے ہیں۔
اس منصوبے نے CoreML کو دور کر دیا ہے اور _ANEClient، _ANECompiler وغیرہ کے 40 سے زیادہ پرائیویٹ کلاسز کو IOKit کرنل ڈرائیور تک مکمل سافٹ ویئر اسٹیک کے ساتھ مپ کیا ہے، اور _ANEInMemoryModelDescriptor انٹرفیس کو دریافت کیا ہے جو مدلز کو میموری میں براہ راست کمپائل کرتا ہے — یہ تربیت کے لیے اہم ہے کیونکہ ہر وزن اپڈیٹ کے لیے دوبارہ کمپائل کرنے کی ضرورت ہوتی ہے۔ اب تک ایک منفرد transformer لیئر (dim=768، seq=512) کی تربیت حاصل کر لی گئی ہے، M4 پر ہر اسٹیپ 9.3ms کا وقت لیتی ہے، ANE کا استعمال 11.2% (1.78 TFLOPS، نظریہ پیک 15.8 TFLOPS) ہے، این ای پر فارورڈ اور بیک ورڈ پراپگیشن کے ان پٹ گریڈینٹس کا حساب لگایا جاتا ہے، جبکہ وزن گریڈینٹس اور Adam آپٹمائزر سی پی یو پر مکمل ہوتے ہیں۔
پروجیکٹ نے یہ بھی دریافت کیا کہ ANE کے مرکزی کمپوٹیشنل پریمیٹو کنولوشن ہیں، نہ کہ میٹرکس ضرب۔ 1x1 کنولوشن کا استعمال کرکے میٹرکس ضرب کو ظاہر کرنے سے تقریباً 3 گنا ٹھیک کارکردگی حاصل ہوتی ہے، اور CoreML کو چھوڑ کر براہ راست فونکشن کال کرنے سے مزید 2-4 گنا بہتری ملتی ہے، جس سے Apple کا دعویٰ "38 TOPS" گمراہ کن ثابت ہوتا ہے۔ ابھی تک پروجیکٹ ابھی ابتدائی مرحلے میں ہے: صرف ایک لیئر ٹریننگ کی حمایت، صرف سنتھیٹک ڈیٹا استعمال، اور تقریباً 119 بار کمپائل کے بعد ریسورس لیک جو پروسیس ریسٹارٹ کرکے دور کی جا رہی ہے؛ متعدد لیئرز کی ٹریننگ اور حقیقی ڈیٹا کی حمایت ابھی ترقی کے مراحل میں ہے۔ پروجیکٹ MIT لائسنس کے تحت اوپن سورس ہے اور اس کا اطلاق 5 دن میں تقریباً 2800 سٹارز حاصل کر چکا ہے۔