اہم نکات
- ٹرانسفارمرز بنیادی طور پر متعلقہ چیزوں کو سیکھتے ہیں، نہ کہ علیت، جس سے ان کی حقیقی ذہانت حاصل کرنے کی صلاحیت محدود ہو جاتی ہے۔
- ایچیوینگ اے جی آئی کے لیے ایسے ماڈلز کی ضرورت ہوتی ہے جو متعلقہ عوامل کی سیکھنے سے لے کر علیت کو سمجھنے تک منتقل ہو سکیں۔
- بڑے زبانی ماڈلز احتمالی تقسیم کے بنیاد پر اگلے ٹوکن کا تخمہ لگا کر متن تیار کرتے ہیں۔
- پرومپٹس میں فراہم کیا گیا متن زبانی ماڈلز کے آؤٹ پٹ کو کافی حد تک متاثر کرتا ہے۔
- زبانی ماڈلز خلاصہ میٹرکس پر کام کرتے ہیں جہاں بہت سے ٹوکن کامبینیشنز بے معنی ہوتے ہیں۔
- این-کونٹیکس سیکھنا LLMs کو مثالوں کے استعمال سے ریل ٹائم میں مسائل حل کرنے کی اجازت دیتا ہے۔
- ڈومین خاص زبانیں (DSLs) پیچیدہ ڈیٹا بیس کوئریز کو قدرتی زبان میں سادہ بناسکتی ہیں۔
- LLM میں ماحولیاتی سیکھنا بیزین اپڈیٹنگ کے مشابہ ہے، جس میں نئے شواہد کے ساتھ احتمالات کو تبدیل کیا جاتا ہے۔
- بیزیائی اور فریکوئنٹسٹ اقدامات کے درمیان بحث نئے مشین لرننگ ماڈلز کی سمجھ کو متاثر کرتی ہے۔
- بیزین ونڈ ٹنل کا تصور مشین لرننگ آرکیٹیکچرز کے ٹیسٹنگ کے لیے ایک کنٹرولڈ ماحول فراہم کرتا ہے۔
- LLMs کے مکینیکس کو سمجھنا ان کے заастعمالات کو موثر طریقے سے استعمال کرنے کے لیے ضروری ہے۔
- AI ترقی میں متعلقہ ہونے سے سببیت تک کا انتقال ایک بڑی رکاوٹ ہے۔
- LLMs میں متنی مطابقت پرمشت پر اہمیت کو ظاہر کرتی ہے۔
- زبانی ماڈلز میں اسپارس میٹرکس غیر متعلقہ ٹوکن کامبینیشنز کو فلٹر کرکے کارکردگی میں اضافہ کرتی ہیں۔
- بیزین ہوا کی نالی ماشینی سیکھنے کے ماڈلز کے جائزہ لینے کا ایک نیا فریم ورک فراہم کرتی ہے۔
مہمان تعارف
ویشل مسرا کولمبیا یونیورسٹی کے انجینئرنگ اسکول میں کمپیوٹر سائنس اور الیکٹریکل انجینئرنگ کے پروفیسر اور کمپیوٹنگ اور AI کے وائس ڈین ہیں۔ وہ a16z پوڈکاسٹ پر واپس آئے ہیں تاکہ اپنی تازہ ترین تحقیق پر بات کریں جس میں ظاہر ہوتا ہے کہ LLMs میں ٹرانسفارمرز نئی معلومات کو پروسیس کرتے وقت اپنے پیشگوئیوں کو ایک درست، ریاضیاتی طور پر قابل پیشگوئی طریقے سے کیسے اپڈیٹ کرتے ہیں۔ ان کا کام AGI تک کے فاصلے کو واضح کرتا ہے اور نمونوں کے مطابق مطابقت کے بجائے لگاتار ٹریننگ کے بعد سیکھنے اور سببی سمجھ کی ضرورت پر زور دیتا ہے۔
ٹرانسفارمرز اور LLMs کو سمجھنا
ٹرانسفارمرز اپنے پیشگوئیوں کو ریاضی کے لحاظ سے قابل پیشگوئی طریقے سے اپڈیٹ کرتے ہیں
— وشال مسرا
- LLMs بنیادی طور پر وابستگیوں کو سیکھتی ہیں، نہ کہ علیت و معلولیت، جس سے ان کی ذہانت محدود ہوتی ہے۔
پیٹرن میچنگ ذہانت نہیں ہے؛ LLMs متعلقہ چیزوں کو سیکھتے ہیں، علت و معلول نہیں
— وشال مسرا
- ای جی آئی حاصل کرنے کے لیے ایسے ماڈلز درکار ہیں جو صرف متعلقہ چیزوں کے بجائے علّت و معلول کو سیکھ سکیں۔
AGI تک پہنچنے کے لیے، ہمیں تربیت کے بعد بھی سیکھنے کی صلاحیت کی ضرورت ہے
— وشال مسرا
- LLMs اگلے ٹوکن کے لیے احتمالی تقسیم تعمیر کرکے متن پیدا کرتے ہیں۔
ایک پرامپٹ دیا جائے تو یہ اگلے ٹوکن کا توزیع تیار کرے گا
— وشال مسرا
- LLMs کے مکینیکس کو سمجھنا ان کے заастعمالات کو موثر طریقے سے استعمال کرنے کے لیے ضروری ہے۔
زبانی ماڈلز میں سیاق و سباق کا کردار
- زبانی ماڈلز کا رویہ پرومپٹس میں فراہم کیے گئے پہلے کنٹیکس سے متاثر ہوتا ہے۔
جیسے ہی آپ سنتھیسس یا شیک کا انتخاب کرتے ہیں، اگلی قطار بہت مختلف دکھائی دیتی ہے
— وشال مسرا
- LLMs میں متنی مطابقت پرمشت پر اہمیت کو ظاہر کرتی ہے۔
- زبانی ماڈلز ایک اسپارس میٹرکس پر کام کرتے ہیں جہاں ٹوکنز کے بہت سارے ترکیبی بے معنی ہوتے ہیں۔
خوش قسمتی سے، یہ میٹرکس بہت خالی ہے کیونکہ ان ٹوکنز کا کوئی بھی جزئی ترکیب بے معنی ہوتی ہے
— وشال مسرا
- اِسپارس میٹریکس غیر متعلقہ ٹوکن کامبینیشنز کو فلٹر کرکے کارکردگی میں اضافہ کرتی ہیں۔
- فراہم کردہ سیاق و سباق زبانی ماڈلز کے نتائج کو جذبی طور پر بدل سکتا ہے۔
- انپٹ پرامپٹس کے بنیاد پر زبانی ماڈلز کیسے متن پیدا کرتے ہیں، یہ سمجھنا ضروری ہے۔
این-کنٹیکس سیکھنا اور ریل ٹائم مسائل کا حل
- این-کونٹیکس سیکھنا LLMs کو حقیقی وقت میں سیکھنے اور مسائل حل کرنے کی اجازت دیتا ہے۔
این-کنٹیکس سیکھنا وہ ہے جب آپ LLM کو کچھ دکھائیں جو اس نے کبھی نہیں دیکھا ہو
— وشال مسرا
- LLMs مثالوں کے ذریعے نئی معلومات کو پروسیس کرتے اور سیکھتے ہیں۔
- این-کونٹیکس سیکھنا بیزین اپڈیٹنگ کے مشابہ ہے، جس میں نئے شواہد کے ساتھ احتمالات کو تبدیل کیا جاتا ہے۔
LLMs وہ کچھ کر رہے ہیں جو بیزین اپڈیٹنگ کے مشابہ ہے
— وشال مسرا
- یہ طریقہ LLMs کی صلاحیتوں کو سمجھنے کے لیے اہم ہے۔
- LLMs میں ریل ٹائم مسئلہ حل کو سیاق میں سیکھنے سے ممکن بنایا جاتا ہے۔
- مثالوں سے سیکھنے کی صلاحیت LLMs کی لچک کو ظاہر کرتی ہے۔
ڈومین خاص زبانیں اور ڈیٹا تک رسائی
- ڈومین خاص زبانیں (DSLs) قدرتی زبان کے سوالات کو قابلِ عمل فارمیٹ میں تبدیل کرتی ہیں۔
میں نے DSL، ایک ڈومین خاص زبان، ڈیزائن کی جو کرکٹ کے اعداد و شمار کے بارے میں سوالات کو تبدیل کرتی تھی
— وشال مسرا
- DSLs پیچیدہ ڈیٹا بیس کوئریز کو قدرتی زبان میں سادہ بناتے ہیں۔
- DSLs کے تشکیل سے AI کو خاص заیعات کے لیے استعمال کرنے کی نوآوری کا ثبوت ملتا ہے۔
- پیچیدہ ڈیٹا بیسز کو دریافت کرنے کے چیلنجز کو سمجھنا ضروری ہے۔
- DSLs ڈیٹا کے ساتھ صارفین کے تعامل کو سوالات کے عمل کو آسان بنانے سے بہتر بناتی ہیں۔
- DSLs کے ترقی سے AI کا کردار ڈیٹا تک رسائی میں واضح ہوتا ہے۔
- یہ رویہ ڈیٹا کی دستیابی کے عام مسائل کے لیے ایک ٹیکنیکل حل فراہم کرتا ہے۔
ای آئی میں بیزین اپڈیٹنگ اور احصائی طریقہ کار
- زبانی ماڈلز میں ماحولیاتی سیکھنا بیزیان اپڈیٹنگ کے مشابہ ہے۔
آپ کچھ دیکھتے ہیں، آپ نئے ثبوت دیکھتے ہیں، اور آپ اس بات کے بارے میں اپنا عقیدہ اپڈیٹ کرتے ہیں کہ کیا ہو رہا ہے
— وشال مسرا
- بیزیان استنباط کو سمجھنا ایل ایم ایس کیسے معلومات کو پروسیس کرتے ہیں، اسے سمجھنے کے لیے ضروری ہے۔
- بیزیائی اور فریکوئنسٹ طریقہ کار کے درمیان فرق AI ماڈل کی سمجھ کو متاثر کرتا ہے۔
احتمال اور مشین لرننگ میں بیزین اور فریکوئنٹسٹ کے کیمپ رہے ہیں
— وشال مسرا
- ان اپروچز کے درمیان بحث نئے تحقیق کے استقبال کو متاثر کرتی ہے۔
- بیزین اپڈیٹنگ LLMs میں سیکھنے کا ایک واضح طریقہ فراہم کرتی ہے۔
- یہ احصائی تصور بہت پرانی طریقہ کاروں کو جدید AI عملوں سے جوڑتا ہے۔
بیزیئن ہوا کی نالی اور ماڈل ٹیسٹنگ
- بیزین ون ٹنل کا تصور مشین لرننگ آرکیٹیکچرز کے ٹیسٹنگ کی اجازت دیتا ہے۔
ہم نے بیزیئن ونڈ ٹنل کا خیال پیدا کیا
— وشال مسرا
- یہ تصور ماڈلز کی تشخیص کے لیے ایک کنٹرولڈ ماحول فراہم کرتا ہے۔
- ٹرانسفارمرز، MAMBA، LSTMs اور MLPs جیسی آرکیٹیکچرز کا ٹیسٹنگ اس فریم ورک کے ذریعے آسان ہو جاتا ہے۔
- ہوائی جہاز میں ونڈ ٹنل کے تصور کو سمجھنا AI میں اس کے застعمال کو سمجھنے میں مدد کرتا ہے۔
- بیزین ہوا کی نالی ماشینی سیکھنے کو آگے بڑھانے کے لیے ایک نئی فریم ورک فراہم کرتی ہے۔
- یہ طریقہ AI ماڈلز کا جائزہ لینے اور بہتر بنانے کے لیے اہم ہے۔
- کنٹرولڈ ٹیسٹنگ ماحول ماڈل کی تشخیص کی قابلیت کو بڑھاتا ہے۔