#Claude #Codex # রাইজেন জেন 3 GPU-এ লোকাল LLM চালানোর চেষ্টা (Qwen3-8B Heretic CPU এবং GPU পারফরম্যান্স তুলনা এবং বিশ্লেষণ) অসাধারণ হও, AMD, অসাধারণ হও, Vulkan গেমিং GPU বলে ভেবেছিলাম এটা বেশি কিছু না, কিন্তু সেটাই প্রমাণিত হয়েছে মেমোরি ব্যান্ডউইথ বাধা বলে মনে হচ্ছে (VRAM ছোট, তাই মেইন মেমোরি ব্যবহার, Mac M5 Studio-এর প্রতি আশা) AMD-এর সর্বশেষ হলো Zen6, তাই এটি ৩ জেনারেশন পুরনো CPU (GPU-সংযুক্ত) ---- # Qwen3-8B Heretic CPU এবং GPU পারফরম্যান্স তুলনা এবং বিশ্লেষণ পরিমাপের তারিখ: 2026-11-02 / লক্ষ্য: Ubuntu মেশিন ## সিদ্ধান্ত - **GPU (Radeon-সংযুক্ত GPU) প্রম্পট লোডিংয়ের ক্ষেত্রে CPU-এর চেয়ে প্রায় 2.5 গুণ দ্রুত।** - **টেক্সট জেনারেশনে CPU-এর চেয়ে শুধুমাত্র 1.1–1.2 গুণ দ্রুত।** জেনারেশন স্পিড মেমোরি ট্রান্সফার স্পিডের দ্বারা সীমাবদ্ধ, কারণ ইনটিগ্রেটেড GPU CPU-এর সঙ্গেই মেমোরি শেয়ার করে। - OpenClaw-এর মতো প্রতিবার দীর্ঘ ইনস্ট্রাকশন পাঠানোর ক্ষেত্রে, GPU-এর চেয়ে **প্রম্পট ক্যাশিং**-এর প্রভাবই বেশি, ২য়, ৩য়...বারের জন্য 7মিনিটের পরিবর্তে 1মিনিটেই সময়কম। ## পরিমাপের পরিবেশ | বিষয় | বিবরণ | |---|---| | CPU | AMD Ryzen 7 7730U (8-কোর 16-থ্রেড, Zen 3) | | GPU | CPU-এর অন্তর্ভুক্ত AMD Radeon Graphics (Barcelo, Vega 8-এর সমতুল্য) | | RAM | 30GB (স্পেসিফিকেশন: DDR4-3200, ডুয়াল-চ্যানেল। বাস্তবে যাচাইকৃত নয়) | | GPU RAM | 512MB dedicated VRAM + ~15.4GB shared memory (GTT)। LM Studio-এ 10.59GiB-এরও কমই ব্যবহারযোগ্য | | OS / Driver | Ubuntu 24.04.5 LTS, Mesa 25.2.8 (RADV) | | LM Studio | Headless version (llmster), llama.cpp 2.66.0 | | CPU Runtime | `llama.cpp-linux-x86_64-avx2` | | GPU Runtime | `llama.cpp-linux-x86_64-vulkan-avx2` (সমস্ত layer GPU-তে, `--gpu max`) | | Model | DreamFast/qwen3-8b-heretic Q4_K_M (5.03GB) | | Load Settings | Context length: 32768, Concurrent requests: 1 | ## পরিমাপের পদ্ধতি - LM Studio-এর API (`/api/v0/chat/completions`) -এ CPU-এবং GPU-এর জন্য same prompt-টি send करें। - Har condition-এ 2টি run run करें। 2য় run-এ prompt cache-এ store था, ताकि **load speed-এর value 1st run-এর data use करें**। - Generation speed: LM Studio-এ return किया गया `tokens_per_second`। - Response-এর before thinking: `/no_think` use करें, `temperature` = 0। - GPU test-এর after, 2 minutes cooling करें, तब CPU test करें। - Script and logs: Ubuntu machine-এ `~/bench/bench.py`, `~/bench/run.sh`, `~/bench/result.log`। ## Results ### Comparison Summary | Content | Metric | CPU | GPU | Difference | |---|---|---|---|---| | Short question (24 tokens), generate 256 tokens | Generation speed | 7.3 tokens/sec | 8.2 tokens/sec | 1.13x | | | Time taken | 35.7 sec | 31.4 sec | | | Prompt: 921 tokens | Load speed | 30.5 tokens/sec | 76.3 tokens/sec | **2.5x** | | | Time to first token | 30.2 sec | 12.1 sec | | | | Generation speed | 7.0 tokens/sec | 8.0 tokens/sec | 1.13x | | Prompt: 3,621 tokens | Load speed | 35.4 tokens/sec | 87.5 tokens/sec | **2.5x** | | | Time to first token | 102.3 sec | 41.4 sec | | | | Generation speed | 5.9 tokens/sec | 7.2 tokens/sec | 1.2x | ### Detailed Measurements | Method | Content | Run | Prompt | Generated | Time Taken | Time to First Token | Generation Speed | |---|---|---|---|---|---|---|---| | GPU | Short question | 1 | 24 | 256 | 31.4 sec | 0.50 sec | 8.26 | | GPU | Short question | 2 | 24 | 256 | 31.2 sec | 0.12 sec | 8.23 | | GPU | Prompt ~1,000 | 1 | 921 | 32 | 16.0 sec | 12.07 sec | 7.97 | | GPU | Prompt ~1,000 (cached) | 2 | 921 | 32 | 4.0 sec | 0.14 sec | 7.98 | | GPU | Prompt ~4,000 | 1 | 3,621 | 32 | 45.7 sec | 41.38 sec | 7.18 || GPU | প্রায় 4,000 টোকেন প্রম্পট | 2 (ক্যাশ) | 3,621 | 32 | 4.5 সেকেন্ড | 0.14 সেকেন্ড | 7.22 | | CPU | ছোট প্রশ্ন | 1 | 24 | 256 | 35.7 সেকেন্ড | 0.73 সেকেন্ড | 7.29 | | CPU | ছোট প্রশ্ন | 2 | 24 | 241 | 32.8 সেকেন্ড | 0.14 সেকেন্ড | 7.36 | | CPU | প্রায় 1,000 টোকেন প্রম্পট | 1 | 921 | 32 | 34.7 সেকেন্ড | 30.21 সেকেন্ড | 7.03 | | CPU | প্রায় 1,000 টোকেন প্রম্পট | 2 (ক্যাশ) | 921 | 32 | 4.6 সেকেন্ড | 0.15 সেকেন্ড | 6.96 | | CPU | প্রায় 4,000 টোকেন প্রম্পট | 1 | 3,621 | 32 | 107.5 সেকেন্ড | 102.30 সেকেন্ড | 5.94 | | CPU | প্রায় 4,000 টোকেন প্রম্পট | 2 (ক্যাশ) | 3,621 | 32 | 5.4 সেকেন্ড | 0.17 সেকেন্ড | 5.96 | প্রম্পট এবং জেনারেশনের একক হল টোকেন, জেনারেশন গতির একক হল টোকেন/সেকেন্ড। ### সংশোধন প্রাথমিক সহজ পরীক্ষার সময়, GPU-এর জেনারেশন গতি প্রায় 2.2 গুণ বৃদ্ধি পায় বলে আমরা জানিয়েছিলাম, কিন্তু এটি ভুল। তুলনা করা CPU-এর 3.86 টোকেন/সেকেন্ড মানটি bot2-এর প্রায় 14,000 টোকেনের দীর্ঘ প্রম্পটটির জন্য। দীর্ঘ প্রম্পটগুলির জন্য জেনারেশনও ধীর হয়, তাই ছোট প্রশ্নগুলির মানগুলির সাথে তুলনা করা ভুল। একই শর্তগুলিতে তুলনা করলে, জেনারেশনের পার্থক্য 1.1–1.2 গুণ। ## GPU-এর ব্যবহারও আশা করা মতো দ্রুততা দিচ্ছে না—এর কারণ ### 1. জেনারেশনটি মেমরির ট্রান্সফার গতির দ্বারা সীমাবদ্ধ LLM-এরপ্রতিটি টোকেনজেনারেটকরতে,মডেলওয়েটসসমগ্রপড়তেহয়।জেনারেশনগতিরসীমা,প্রায় “মেমরিরট্রান্সফারগতি ÷মডেলএরআকার”দিয়েনির্ধারিতহয়। | 항목 | 값 | |---|---| | মেমরির ট্রান্সফারগতি (থিওরিটিকাল) | DDR4-3200-এর ডুয়াল-চ্যানেল: ~51 GB/সেকেন্ড | |প্রতিটিটোকেনজন্যপড়াহয়|~5GB(সমগ্রমডেল)| |থিওরিটিকালজেনারেশনসীমা|51÷5.03≈**প্রায়10টোকেন/সেকেন্ড**| |বাস্তবিক(জিপিইউ)|8.2টোকেন/সেকেন্ড(সীমার~80%)| |বাস্তবিক(CPU)|7.3টোকেন/সেকেন্ড(সীমার~70%)| অভ্যন্তরীণ GPU-এর CPU-এরইমূলমেমরিশেয়ারহয়,তাইসীমাCPU-এরসঙগেপ্রায়একই।GPU-এও,সীমাকাছাকাছিপৌঁছানোরজন্যশুধু1–2%বৃদ্ধিইসম্ভব। বহিরঙ্গ GPU-এরপাশাপাশি,একটিবিশিষ্ট,দ্রুতমেমরিথাকব। | GPU | মেমরিরট্রান্সফারগতি | Ubuntu-এইযন্ত্রদিয়েঅনুপাত | |---|---|---| | Ubuntu-এইযন্ত্র-এরঅভ্যন্তরীণGPU|~51GB/সেকেন্ড(CPU-এরসঙগেশেয়ার)|1x| | RTX4060|~272GB/সেকেন্ড|~5x| | RTX4090|~1,008GB/সেকেন্ড|~20x| ### 2.পড়ায়গণনা-পরিমাণদিয়েবদলযায়,কিন্তুঅভ্যন্তরীণGPU-এরগণনা-শক্তিঅপরিমিত পড়ায়,অসংখ্যটোকেনএকসঙগেপড়াহয়,তাইগতিমূলতগণনা-শক্তিদিয়েবদলযায়।GPU-এরপ্রভাবএখানইদৃশ্যমানহয়,বাস্তবিকভিতিতও2.5গুণবৃদ্ধিলভ। তবুও,এইGPU-এরঅধিকভাবইউপলবধহয়: |সীমা|বিবরণ| |---|---| |গণনা-ইউনিটঅলপড়া|শুধু8টি।সিঙ্গল-পিশনসহ~2TFLOPS(গেমিংGPU-এরঅলপড়া)| |মডিউল-অপারেশনএরজনযদৃষটিরথাকছই|NVIDIA-এরTensorCore-এরমত,AI-এরজনযদৃষটিরথাকছই| |ROCmবাৎসহয়ছই|AMD-এরGPU-এরজনযদৃষটিROCm,এইঅভ্যন्तरीণGPU-এখচড়ভিতিতসমরথ।Vulkanদিয়াচলছই| 8Bমডেল-এ,পড়াপড়াহয়~16GFLOPগণনা।~2TFLOPSহল,থিওরিটিকালসীমা~120টোকেন/সেকেন্ড।বাস்தবিক76–88টোকেন/সেকেন্ডহল,সঙগভিতি6–7%। ### 3.পড়ায়আউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউটআউৎआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउटआउट�ઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતઆઉતആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉതആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতആଉতಆಊತಆಊತಆಊತಆಊತಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতಆಊতஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆಊதஆঔතঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔঔ��ওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওওও�� | Condition | Reading Speed | Generation Speed | |---|---|---| | GPU, ~1,000-token prompt | 76 tokens/sec | 8.0 tokens/sec | | GPU, ~3,600-token prompt | 88 tokens/sec | 7.2 tokens/sec | | GPU, OpenClaw (15,686 tokens), first 2,048 tokens | 78.7 tokens/sec | — | | GPU, OpenClaw (15,686 tokens), overall average | 44.1 tokens/sec | 5.1 tokens/sec | | CPU, OpenClaw (14,021 tokens) | ~19.5 tokens/sec | 3.86 tokens/sec |3,600 টোকেন পর্যন্ত, একসাথে প্রসেস করার ক্ষমতা বাড়ার কারণে লোডিং আসলে দ্রুত হয়েছে। 15,000 টোকেনের বেশি হলে, শেষের দিকে 46 টোকেন/সেকেন্ড পর্যন্ত কমে যায়। ## OpenClaw (bot2 মেই) এর ক্যাশ যাচাইকরণ যাচাইকরণের জন্য সেশনে, GPU-এ চলমান Qwen3 ব্যবহার করে দুটি বার পাঠানো হয়েছিল। | আইটেম | প্রথমটি | দ্বিতীয়টি | |---|---|---| | OpenClaw দ্বারা পাঠানো প্রম্পট | 15,686 টোকেন | 15,744 টোকেন | | বাস্তবে লোড করা টোকেন | 15,686 (সবকিছু) | **135 (শুধুমাত্র নতুনভাবে যোগ হওয়া)** | | লোডিং সময় | 356.1 সেকেন্ড | **6.1 সেকেন্ড** | | জেনারেশন | 247 টোকেন, 48.1 সেকেন্ড (5.11 টোকেন/সেকেন্ড) | 249 টোকেন, 48.5 সেকেন্ড (5.11 টোকেন/সেকেন্ড) | | মোট | **410 সেকেন্ড** | **58 সেকেন্ড** | - OpenClaw প্রতিবারই নির্দেশনার শুরুটি একইভাবে পাঠায়, তাই দ্বিতীয়টিতে 98% প্রসেসড অংশটি পুনরায় ব্যবহার করা হয়েছিল। - দ্বিতীয়টির অধিকাংশ অপেক্ষা সময়টি, ~240 টোকেনের "চিন্তা"। `--thinking off` সেটিংয়েও "চিন্তা" বন্ধ হয়নি। "চিন্তা"টি বন্ধ করা গিয়েছিললে, 10-এরও কম সময়ের মধ্যেই শেষ হত। - ক্যাশটি সময়ভিত্তিকভাবে মুছে যায় না। "মডেল"টি অপসারণ, অন্যান্য প্রসেসিংয়ের (একইসময়ে 1টিরই) "আপডেট"য়, বা "কথোপকথন"টি "সংকুচিত"হওয়ারপরই "ক্যাশ"টি "মুছে"যায়। ##দ্রুততা বাড়ানোর জন্য বিকল্পগুলি মেমোরির "ট্রান্সফার"গতিরপরিবর্তনসম্ভবহয়না,তাইপ্রতিটি"টোকেন"-এরজন্যলোডকরারপরিমাণকমকরা"প্রভাবশালী"। |পদ্ধতি|প্রত্যাশিতপ্রভাব|দ্রষ্টব্য| |---|---|---| |প্রম্পটক্যাশব্যবহার|দ্বিতীয়ওআরওপরবর্তীগুলিতেলোডিংসময়কয়েকসেকেন্ড (যাচাইকরণপূর্ণ)|আপডেট/সংকুচিতহলেমুছেযাবে| |Qwen3-এর"চিন্তা"বন্ধ|প্রতিটিপ্রম্পট-এ48সেকেন্ড-এরঅপচয়|উত্তরগুলিরগুণগতমানহ্রাসপাওয়ারসম্ভাবনা| |MoE-ভিত্তিকQwen3-30B-A3B-এপরিবর্তন|প্রতিটি"টোকেন"-এব্যবহৃতওজন~3B।জেনারেশন2-3গুণবাড়বে,এবং"বুদ্ধিমত্তা"ওবাড়বে|~18GBআকার,GPU-এর10.6GiB-এআসবনা,অংশশহCPU-এপ্রসেসহবে।সংশোধিত/অ-সংশোধিতভারঅজানা| |ছোটমডেল(Qwen3-4B)-এপরিবর্তন|জেনারেশন~2গুণ|বুদ্ধিমত্তা-এহ্রাস| |অপটিমিসটিকডিকোডিংব্যবহার|Qwen3-0.6B-এ"খসড়া"হিসাবে।জেনারেশন1.3–2গুণ|প্রভাবপদ্ধতি-ভিত্তিক| |আরওঅধিককোয়ানটাইজ(যথাQ3)|1–2%উন্নতি|সঠিকতা-এহ্রাস| |নির্দেশনা-এখসড়াকরণ|প্রথমটি,এবংক্যাশমুছলেলোডিংসময়কমহবে|ফাংশনঅপসারণ| এইটেবল-এউল্লেখকরা"পদ্ধতি"-গুলি,প্রম্পট-এ"ক্যাশ"-এরবাইর,অনুমানভিত্তিক,অথবা"অপরিমিত"। ##বর্তমানঅবস্থা(2026-11-03) |আইটেম|অবস্থা| |---|---| |LMStudio|বন্ধ।অটো-স্টার্টঅক্ষম| |চয়নকৃতরানটাইম|Vulkan(GPU)| |bot2(মেই)|gpt-5.4-mini| |bot2-এরজন্যট্রানসফারপোর্ট|বন্ধ।অটো-স্টার্টঅক্ষম| |Qwen3-এরজন্যbot2সেটিং|`~/.openclaw-bot2/openclaw.json.bak-qwen3-active-*`|