آپ کے صارفین ایک ہی سوال کو 40 مختلف طریقوں سے پوچھ رہے ہیں، اور آپ اپنے LLM کو ہر ایک کا جواب الگ الگ شروع کر کے دے رہے ہیں۔ "میں اپنا پاس ورڈ کیسے ری سیٹ کروں؟" "میرا لاگ ان بھول گیا، مدد کریں" "میں اپنے اکاؤنٹ میں نہیں داخل ہو سکتا" ایک ہی جواب۔ تین مکمل ماڈل کالز۔ عام کیش کرنا اسے نہیں پکڑ سکتا۔ یہ صرف تب کام کرتا ہے جب متن بالکل ایک جیسا ہو، حرف در حرف۔ سیمنٹک کیش معنی پر مطابقت رکھتی ہے۔ ایک سوال آتا ہے۔ اسے ایم بیڈنگ میں تبدیل کر دیا جاتا ہے۔ کیش چیک کرتی ہے کہ کیا آپ نے پہلے کسی قریبی سوال کا جواب دے دیا ہے۔ ہٹ؟ محفوظ جواب فوراً واپس آ جاتا ہے۔ کوئی LLM کال نہیں۔ مس؟ ماڈل جواب دے دیتا ہے، اور اس جواب کو اگلی بار کے لیے محفوظ کر لیا جاتا ہے۔ اب Redis اسے ایک مینجڈ سروس کے طور پر LangCache کے نام سے چلا رہا ہے۔ آپ کو کوئی اضافی ڈیٹا بیس ڈپلو نہیں کرنا پڑتا، TTL اور ا eviction آپ کے لیے ہینڈل ہو جاتے ہیں۔ وہ دعوٰی کرتے ہیں کہ کیش ہٹس تقریباً 15 گنا تیز اور آپ کے API بل میں بڑی کمی آتی ہے۔ لیکن یہ وہ حصہ ہے جس بارے میں کوئی بات نہیں کر رہا۔ 相似性 تھریشولڈ وہ جگہ ہے جہاں یہ خراب ہو جاتا ہے۔ اسے بہت زیادہ آزاد رکھ دیں تو "میرا API کلید کس طرح تبدیل کروں؟" سوال پر "میرا API کلید کس طرح منسوخ کروں؟" کا جواب مل جائے گا۔ معنی میں قریب۔ لیکن نتائج بہت مختلف۔ تو شروعات سخت سے کریں۔ ایک ہفتہ تک ہر ہٹ کو لاگ کریں۔ صرف تب تھریشولڈ آزاد کریں جب آپ نے چیک کر لیا ہو کہ جوابات واقعی قابل تبادلہ ہیں۔ آپ کی بچت اس بات پر منحصر ہے کہ آپ کا ٹرافک حقیقت میں کتنے بار دوبارہ آ رہا ہے۔ سپورٹ بوٹس اور اندرکے دستاویزات اسسٹنٹس بڑا فائدہ حاصل کرتے ہیں۔ تخلیقی یا منفرد سوالات تقریباً حرکت نہیں کرتے۔ قیمت صفحے سے پہلے اپنے لاگز چیک کر لیں۔ @cyrilXBT پر فالو کریں https://t.co/tQmQCsxVlo