#Claude #Codex # Ryzen Zen3 GPU پر لوکل LLM چلانے کی کوشش کی گئی (Qwen3-8B Heretic CPU اور GPU کی پرفارمنس کا موازنہ اور تجزیہ) AMD کو جیت کر دکھاؤ، Vulkan کو جیت کر دکھاؤ میں نے سوچا تھا کہ یہ صرف گیمنگ GPU ہے، اس لیے خاص بات نہیں ہوگی—اور یہی ثابت ہوا میموری بینڈ وِدز کو چھوٹا پڑ رہا ہے (VRAM چھوٹا ہے، اس لیے مین میموری استعمال ہو رہی ہے، Mac M5 Studio پر امید ہے) AMD کا نئاترین CPU Zen6 ہے، لہذا یہ تین نسل پرانا CPU (GPU کے ساتھ) ہے ---- # Qwen3-8B Heretic CPU اور GPU کی پرفارمنس کا موازنہ اور تجزیہ 測定 日: 2026-11-02 / ہدف: Ubuntu م achine ## نتائج - **GPU (Radeon انٹیگریٹڈ) پر پرامپٹ لوڈ کرنے کا وقت CPU کے مقابلے میں تقریباً 2.5 گنا تیز ہے۔** - **ٹیکسٹ جنریشن صرف CPU کے مقابلے میں 1.1 سے 1.2 گنا تیز ہے۔** جنریشن سپیڈ میموری ٹرانسفر ریٹ سے محدود ہے، کیونکہ انٹیگریٹڈ GPU CPU کے ساتھ ایک ہی میموری شیر کرتا ہے۔ - جب آپ OpenClaw جیسے طریقے سے ہر بار لمبے انstructions بھیجتے ہیں، تو **پرامپٹ کیش** کا اثر زیادہ اہم ہوتا ہے—دوسرا اور اس کے بعد کا جواب صرف 7 منٹ سے گھٹ کر تقریباً 1 منٹ ہو جاتا ہے۔ ## ماحول | شق | تفصیل | |---|---| | CPU | AMD Ryzen 7 7730U (8 کور، 16 تھریڈز، Zen 3) | | GPU | CPU میں انٹیگریٹڈ AMD Radeon Graphics (Barcelo، Vega 8 کے برابر) | | میموری | 30GB (سپس فکیشن: DDR4-3200 ڈوئل چینل۔ عملی طور پر تصدیق نہیں کی گئی) | | GPU میموری | مخصوص VRAM 512MB + شیرڈ میموری (GTT) تقریباً 15.4GB۔ LM Studio صرف 10.59GiB استعمال کر سکتا ہے | | OS / ڈرائیور | Ubuntu 24.04.5 LTS، Mesa 25.2.8 (RADV) | | LM Studio | ہیڈلیس ورژن (llmster)، llama.cpp 2.66.0 | | CPU رنٹائم | `llama.cpp-linux-x86_64-avx2` | | GPU رنٹائم | `llama.cpp-linux-x86_64-vulkan-avx2` (تمام لیرز GPU پر، `--gpu max`) | | ماڈل | DreamFast/qwen3-8b-heretic Q4_K_M (5.03GB) | | لوڈنگ سیٹنگز | کانٹینسٹ لمبائی 32768، ساتھ میں پروسسز: 1 | ## طریقہ کار - ایک ہی پرامپٹ کو LM Studio کے API (`/api/v0/chat/completions`) کے ذریعے بھجا گیا اور CPU اور GPU دونوں پر تجزیہ کیا گيا۔ - ہر شرط دو بار رن کی گئی۔ دوسری بار، پرامپٹ کاش سے دوبارہ استعمال ہوتا ہے، اس لئے **لوڈنگ سپیڈ کا پہلا نتائج استعمال کیا گيا**۔ - جنریشن سپیڈ LM Studio کے واپس کردہ `tokens_per_second` سے لیا گيا۔ - جواب سے پہلے "سوچ" کو `/no_think` سے روک دیا گيا، اور `temperature` کو صفر رکھا۔ - GPU کا آزمائش مکمل ہونے کے بعد، CPU آزمائش سے پہلے دو منٹ تک سرد کرنے دیا گيا۔ - اسکرپٹ اور رکارڈنگ Ubuntu ماشین پر `~/bench/bench.py`، `~/bench/run.sh`، `~/bench/result.log` میں موجود ہيں۔ ## نتائج ### خلاصہ موازنہ | مواد | شق | CPU | GPU | فرق | |---|---|---|---|---| | مختصر سوال (24 ٹوکن) پر 256 ٹوکن جنریشن | جنریشن سپีڈ | 7.3 ٹوکن/سینڈ | 8.2 ٹوکن/سینڈ | 1.13x | | | وقت درکار | 35.7 سینڈ | 31.4 سینڈ | | | پرامپٹ: 921 ٹوکن | لوڈنگ سپید | 30.5 ٹوکن/سینڈ | 76.3 ٹوکن/سینڈ | **2.5x** | | | پہلا حرف تک | 30.2 سینڈ | 12.1 سینڈ | | | | جنریشن سپید | 7.0 ٹوکن/سینڈ | 8.0 ٹوکن/سینڈ | 1.13x | | پرامپٹ: 3,621 ٹوکن | لوڈنگ سپید | 35.4 ٹوکن/سینڈ | 87.5 ٹوکن/سینڈ | **2.5x** | | | پہلا حرف تک | 102.3 سینڈ | 41.4 سینڈ | | | | جنریشن سپید | 5.9 ٹوکن/سینڈ | 7.2 ٹوکن/سینڈ | 1.2x | ### تفصیلی نتائج | طریقہ | مواد | بار | پرامپٹ | جنریشن | وقت درکار | پہلا حرف تک | جنریشن سپید | |---|---|---|---|---|---|---|---| | GPU | مختصر سوال | 1 | 24 | 256 | 31.4 سینڈ | 0.50 سینڈ | 8.26 | | GPU | مختصر سوال | 2 | 24 | 256 | 31.2 سینڈ | 0.12 سینڈ | 8.23 | | GPU | تقریباً 1,000 پرامپٹ | 1 | 921 | 32 | 16.0 سینڈ | 12.07 سینڈ | 7.97 | | GPU | تقریباً 1,000 پرامپٹ (کاش) | 2 | 921 | 32 | 4.0 سینڈ | 0.14 سینڈ | 7.98 | | GPU | تقریباً 4,000 پرامپٹ | 1 | 3,621 | 32 | 45.7 سینڈ | 41.38 سینڈ | 7.18 || GPU | تقریباً 4,000 پرامپٹ | 2 (کیش) | 3,621 | 32 | 4.5 سیکنڈ | 0.14 سیکنڈ | 7.22 | | CPU | مختصر سوال | 1 | 24 | 256 | 35.7 سیکنڈ | 0.73 سیکنڈ | 7.29 | | CPU | مختصر سوال | 2 | 24 | 241 | 32.8 سیکنڈ | 0.14 سیکنڈ | 7.36 | | CPU | تقریباً 1,000 پرامپٹ | 1 | 921 | 32 | 34.7 سیکنڈ | 30.21 سیکنڈ | 7.03 | | CPU | تقریباً 1,000 پرامپٹ | 2 (کیش) | 921 | 32 | 4.6 سیکنڈ | 0.15 سیکنڈ | 6.96 | | CPU | تقریباً 4,000 پرامپٹ | 1 | 3,621 | 32 | 107.5 سیکنڈ | 102.30 سیکنڈ | 5.94 | | CPU | تقریباً 4,000 پرامپٹ | 2 (کیش) | 3,621 | 32 | 5.4 سیکنڈ | 0.17 سیکنڈ | 5.96 | پرامپٹ اور تولید کی ا đơnٹیں ٹوکنز میں ہیں، اور تولید کی رفتار کی đơnٹیاں ٹوکن/سیکنڈ میں ہیں۔ ### درستگی اولین سادہ پرکشش کے دوران، ہم نے بتایا کہ GPU کی تولید رفتار تقریباً 2.2 گنا بڑھ گئی، لیکن یہ غلط تھا۔ جس CPU کی رفتار (3.86 ٹوکن/سیکنڈ) کا موازنہ کیا گیا، وہ bot2 پر تقریباً 14,000 ٹوکن کے پرامپٹ کو معالجہ کرنے کا نتیجہ تھا۔ لمبے پرامپٹس میں تولید بھی آہستہ ہوتی ہے، اس لئے مختصر سوالات کے نتائج کے ساتھ موازنہ کرنا غلط تھا۔ اگر ایک جیسے حالات میں موازنہ کیا جائے، تو تولید میں صرف 1.1 سے 1.2 گنا کا فرق آتا ہے۔ ## GPU استعمال کرنے پر بھی انتظار کے مطابق تیز نہ آنے کے وجوہات ### 1. تولید میموری کے منتقل ہونے کی رفتار سے محدود ہوتا ہے LLM ایک ایک ٹوکن تولید کرتے وقت، مدل کے تمام وزن میموری سے دوبارہ لوڈ کرتا ہے۔ تولید کی حد صرف "میموری کی منتقل رفتار ÷ مدل کا سائز" پر منحصر ہے۔ | شرح | قدر | |---|---| | میموری کی منتقل رفتار (نظریہ) | DDR4-3200 کے دوہرے چینل پر تقریباً 51GB/سیکنڈ | | ایک ٹوکن کے لئے لوڈ کردہ مقدار | تقریباً 5GB (پورا مدل) | | نظری طور پر تولید کی حد | 51 ÷ 5.03 ≒ **تقریباً 10 ٹوکن/سیکنڈ** | | عملی نتائج (GPU) | 8.2 ٹوکن/سیکنڈ (حد کا تقریباً 80 فیصد) | | عملی نتائج (CPU) | 7.3 ٹوکن/سیکنڈ (حد کا تقریباً 70 فیصد) | ان بورڈ GPU اسی CPU والے مین میموری کو شیر کرتا ہے، اس لئے حد CPU جتنا لگبھگ اتنی ہی رہتی ہے۔ GPU استعمال کرنے سے بھی صرف اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضافہ اضيفه دسترس نظر آتا۔ بھرپور GPU کے پاس الگ، تیز مخصوص مемوری موجود ھوتى هى، جس سے ان حدود بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي بھي ب� | GPU | مемوری منتقل رفتار | ان Ubuntu مشین سے نسبت | |---|---|---| | ان Ubuntu مشین کا ان-بورڈ GPU | تقریباً 51GB/س (CPU شیر) | 1x | | RTX 4060 | تقریباً 272GB/س | تقریباً 5x | | RTX 4090 | تقریباً 1,008GB/س | تقریباً 20x | ### 2. لوڈنگ حسابات پر منحصر هوتى هے، لेकن ان-بورڈ GPU کا حساباتى طاقت کم هے پرامپٹ لوڈنگ مें متعدد ٹوکنز ایک ساتھ منتقل هوتے هں، اس لئے رفتار ميموري سے زائد حساباتى طاقت پر منحصر هوتى هے۔ GPU کا اس حصه مېں اثر دکھتا هے، اور عملى طور پر اس مېں 2.5x تک بڑهتا هے۔ لېكين، اس GPU مېں درج ذيل محدوديتاں هياں، جس سے صرف 2.5x تک رُك جاتا هے: | محدوديت | مواد | |---|---| | كم حساباتى وحدات | صرف 8۔ سپيشل پريسيژن مېں تقربيًا 2TFLOPS ت估 هے، جو گيم GPU كى تقربيًا دسوين حصه هے | | مخصوص مين-آپريشن سرکٹ نهىں هياں | NVIDIA كى Tensor Core جيسى AI كى لئے مخصوص سرکٹ نهىں هياں | | ROCm استعمال نهىں كيا جا سكتا | AMD كى GPU كى حساباتى بندي ROCm، ان-بورڈ GPU كى لئے رسمى طور پر سپورٹ نهىں كرتا۔ عام Vulkan كا استعمال كيا جا رها هے | 8B ماڈل كى لئے هر ٹوكن كى معالجت كى لئے تقربيًا 16GFLOP حساباتى طاقت دركير هوتى هے، تو ~2TFLOPS كى طاقت كى صورت مېں نظرى حد تقربيًا 120_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ ### 3. پرامپٹ لمبا هونے كى وجە سے آهسته هوتا هے زماني بازه لمبى هونे كى وجە سے، هر ٹوكن دوسرى ٹوكنز كى طرف زائد رفرنس دे�تا هے، جس كى وجە سے لوڈنگ و توليد دونوں آهسته هوتے هياں۔ | شرط | لوڈنگ رفتار | توليد رفتار | |---|---|---| | GPU، تقربيًا 1,000 ٹوكن پرامپٹ | 76 ٹوكن/سекند | 8.0 ٹوكن/سекند | | GPU، تقربيًا 3,600 ٹوكن پرامپٹ | 88 ٹوكن/سекند | 7.2 ٹوكن/سекند | | GPU، OpenClaw (15,686 ٹوكن) كا پहلا 2,048 ٹوكن | 78.7 ٹوكن/سекند | — | | GPU، OpenClaw (15,686 ٹوكن) كا مجموعى طور پر لينا | 44.1 ٹوكن/سекند | 5.1 ٹوكن/سекند | | CPU، OpenClaw (14,021 ٹوكن) | تقربيًا 19.5 ٹوكن/سекند | 3.86 ٹوكن/سекند |3,600 ٹوکن تک، ایک ساتھ پروسیس کی جانے والی مقدار بڑھنے کی وجہ سے لوڈنگ کا وقت تیز ہو گیا۔ 15,000 ٹوکن سے زیادہ ہونے پر، آخری مرحلے میں 46 ٹوکن/سیکنڈ تک گر گیا۔ ## OpenClaw (bot2 می) میں کیش کی تصدیق تجرباتی سیشن میں، GPU پر چلنے والے Qwen3 کو دو بار متصل کیا گیا۔ | شق | پہلا پیغام | دوسرا پیغام | |---|---|---| | OpenClaw نے بھیجا ہوا پرامپٹ | 15,686 ٹوکن | 15,744 ٹوکن | | حقیقی طور پر لوڈ کیے گئے ٹوکن | 15,686 (سب) | **135 (صرف نئے اضافے)** | | لوڈنگ کا وقت | 356.1 سیکنڈ | **6.1 سیکنڈ** | | تخلیق | 247 ٹوکن، 48.1 سیکنڈ (5.11 ٹوکن/سیکنڈ) | 249 ٹوکن، 48.5 سیکنڈ (5.11 ٹوکن/سیکنڈ) | | مجموعی | **410 سیکنڈ** | **58 سیکنڈ** | - OpenClaw ہر بار احکامات کا آغاز ایک جیسا کرتا ہے، اس لیے دوسرا پیغام میں پہلے سے پروسیس شدہ حصہ (98%) کو براہ راست دوبارہ استعمال کیا گیا۔ - دوسرے پیغام کا زیادہ تر انتظار، تقریباً 240 ٹوکن کے سوچنے کا وقت تھا۔ `--thinking off` متعین کرنے پر بھی سوچنا بند نہیں ہوا۔ اگر سوچنا روک دیا جائے تو، وقت تقریباً 10 سیکنڈ ہو جائے گا۔ - کیش وقت کے ساتھ ختم نہیں ہوتا۔ وہ صرف اس وقت ختم ہوتا ہے جب ماڈل کو خارج کر دیا جائے، کوئی دوسرا عمل داخل ہو جائے (ایک ساتھ صرف ایک عمل کی اجازت)، یا بات چیت دبائی جائے۔ ## تیز کرنے کے لیے ممکنہ وسائل مемوری ٹرانسفر ریٹ تبدیل نہیں کیا جا سکتا، اس لیے ہر ٹوکن کے لیے لوڈ کرنے والی مقدار کم کرنا مؤثر ہوگا۔ | طریقہ | متوقع اثر | نوٹ | |---|---|---| | پرامپٹ کیش کا استعمال | دوسرے اور اس کے بعد کے پیغامات کا لوڈنگ وقت صرف کچھ سیکنڈ (تائید شدہ) | داخل ہونے والے عمل یا دباؤ سے ختم ہو سکتا ہے | | Qwen3 کا سوچنا روکنا | ہر پیغام میں تقریباً 48 سیکنڈ کا بچت | جواب کا معیار تھوڑا کم ہو سکتا ہے | | MoE ماڈل Qwen3-30B-A3B پر تبدیل کرنا | ہر ٹوکن کے لیے استعمال ہونے والے وزن تقریباً 3B تک محدود۔ تخلیق تقریباً 2-3 گنا زیادہ، اور ذہانت بھی بڑھے گی | تقریباً 18GB حجم، جبکہ GPU کا صرف 10.6GiB دسترس ممکن۔ بعض حصے CPU پر پروسیس ہوں گے۔ سنسور شدہ نسخہ موجود ہے یا نہیں، ابھی تصدیق نہیں۔ | | چھوٹا ماڈل (Qwen3-4B) استعمال کرنا | تخلیق تقریباً دوگنا | ذہانت کم ہو جائے گی | | تخلصانہ ڈِکوڈنگ استعمال کرنا | Qwen3-0.6B کو اسکچ پر استعمال کرنا۔ تخلیق 1.3-2 گنا | اثر مواد پر منحصر | | مزید قوانٹائزڈ نسخہ (Q3 وغیرہ) استعمال کرنا | 10-20 فصد بہتری | درستگی متناقص | | احکامات کو مختصر بنانا | پہلا پیغام اور کش ختم ہونے کے بعد لوڈنگ وقت مختصر | فنکشنلٹی ختم کرنے کا مطلب | اس جدول میں دائرہ بند شدہ اثرات، پرامپٹ کش کے علاوہ، تخمینہ پر مبنی ہیں اور انھيں حقائق سے نہیں ثابت کيا گيا۔ ## موجودہ حالت (2026-11-03 تک) | شق | حالت | |---|---| | LM Studio | بند۔ خودکار شروع نہीں۔ | | منتخب شدہ رنٹائم | Vulkan (GPU) | | bot2 (مَي) | gpt-5.4-mini | | bot2 کے لئے رابطہ نقطہ | بند۔ خودکار شروع نہीں۔ | | Qwen3 کے لئے bot2 سینگز | `~/.openclaw-bot2/openclaw.json.bak-qwen3-active-*` |
