আজকে চ্যাট পরীক্ষা করছি না, আমি সরাসরি লোকাল মডেলকে কাজ করাচ্ছি। আগে Ling-3.0 Tiny লোকালে চালু করার পর থেকেই, আমি সবসময় মনে করেছি শুধু চ্যাট করা আসলে খুব অর্থবহ না। আসলেই যেটা পরীক্ষা করার মতো মূল্যবান সেটা হলো: এটা কি কোনো বাস্তব কাজের প্রবাহে যুক্ত হতে পারে কি না। তাই এবার আমি নতুন করে মডেল ডিপ্লয় করিনি, বরং সরাসরি llama.cpp এর লোকাল API ব্যবহার করে, সবচেয়ে সহজ একটা “AI টেক্সট সংগঠক” বানিয়েছি। আমার পরিবেশ হলো Windows + llama.cpp + Ling-3.0 Tiny, মডেল ইতিমধ্যে 127.0.0.1:8080 এর মাধ্যমে API দিচ্ছে। প্রথম ধাপ, আগে নিশ্চিত করি মডেল চালু আছে: http://127.0.0.1:8080/v1/models এখানে মডেলের তথ্য দেখা গেলে বোঝায় API ঠিকমতো কাজ করছে। তারপর নতুন একটা ai_test.py বানিয়ে নিচের কোড সরাসরি ওখানে রেখে দিন： import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ আজকের মিটিংয়ে মূলত নতুন প্রোডাক্ট লাইভ হওয়ার বিষয়টি আলোচনা হয়েছে। বর্তমানে UI প্রায় সম্পন্ন, কিন্তু পেমেন্ট মডিউলে এখনও দুইটা বাগ আছে। প্রোডাক্ট ম্যানেজার চাইছেন শুক্রবারের আগে টেস্টিং শেষ হোক। ব্যাকএন্ডকে অর্ডার স্ট্যাটাস API আবার পরীক্ষা করতে হবে। আরও একটা বিষয় হলো, প্রচারের কপি এখনও চূড়ান্ত হয়নি, ডিজাইনারকে চূড়ান্ত কপির ভিত্তিতে হোমপেজ পরিবর্তন করতে হবে। """ prompt = f""" তুমি এখন একটি কাজের তথ্য整理助手। নীচের এই অগোছালো কাজের রেকর্ডটাকে整理 করে দাও： 1. এক বাক্যে সারাংশ 2. প্রধান সমস্যা 3. টু-ডু আইটেম 4. ডেডলাইন 5. যেগুলোতে অন্যদের সহযোগিতা দরকার চাহিদা： - মূল লেখায় নেই এমন তথ্য বানিয়ে ফেলো না - তথ্য নিশ্চিত না হলে “未明确” লিখবে - 中文 ব্যবহার করবে - আউটপুট পরিষ্কার হবে, কিন্তু অতিরিক্ত জটিলভাবে লিখবে না মূল কন্টেন্ট： {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("অনুরোধ ব্যর্থ হয়েছে：", response.status_code) print(response.text) তারপর Python এর requests ইনস্টল করুন： pip install requests শেষে রান করুন： python ai_test.py এই সময় মডেল আর “আমার সঙ্গে গল্প করছে” না, বরং সত্যি সত্যি একটা কাজের রেকর্ড প্রসেস করছে। আমি আবার টেস্ট কন্টেন্ট একটা আরও বেশি বিশৃঙ্খল টেক্সটে বদলে দিয়েছি： এই প্রজেক্টটা সাম্প্রতিক সময়ে একটু এলোমেলো, হোমপেজ প্রায় হয়ে গেছে, কিন্তু লগইন মাঝে মাঝে এরর দেয়, গতকাল ছোটো ওয়াং বলেছিল ইতিমধ্যে ফিক্স করেছে, পেমেন্ট এখনও পুরোপুরি টেস্ট হয়নি, বৃহস্পতিবারের মধ্যে রেজাল্ট দিতে পারলে ভালো হয়, প্রচারমূলক ছবির ডিজাইন দিকটা এখনও পরিবর্তন হচ্ছে, বস বলেছেন মাসের শেষে অবশ্যই লাইভ হতে হবে, সুনির্দিষ্ট কোন দিন হবে সেটা এখনো ঠিক হয়নি। এই ধরনের টেস্ট আসলে মডেলকে “তুমি কে” প্রশ্ন করার চেয়ে অনেক বেশি অর্থবহ। কারণ এখানে ইচ্ছে করে মিশিয়ে দেওয়া হয়েছে： ইতিমধ্যে সম্পন্ন কাজ, অসম্পন্ন কাজ, অস্পষ্ট সময়, ভিন্ন ভিন্ন মানুষের টাস্ক, আর যেগুলোর পরিষ্কার ডেডলাইন নেই এমন তথ্য। আসলেই যে জিনিসটা পর্যবেক্ষণ করার বিষয়, সেটা হলো মডেল কি事实 আর推测 আলাদা করে বুঝতে পারে কি না। যদি এটা “মাসের শেষে লাইভ হওয়া” ঠিকভাবে ডেডলাইনের দাবি হিসেবে শনাক্ত করতে পারে, আর “বৃহস্পতিবারের মধ্যে রেজাল্ট দেওয়াই ভালো” কে নিজের ইচ্ছায় আনুষ্ঠানিক ডেডলাইন বানিয়ে না ফেলে, তাহলে এই ছোটো টেস্টটার বাস্তব মূল্য আছে। পরের ধাপে এমনকি মডেল বদলানোর দরকারও নেই, শুধু text বদলিয়ে দিলেই হবে： মিটিং নোট, কাস্টমার সার্ভিস চ্যাট রেকর্ড, ওয়ার্ক গ্রুপ মেসেজ, প্রজেক্ট রিকোয়ারমেন্ট, নিজের নোট। কয়েক দশ MB-এর একটা ছোটো লোকাল মডেলও আসলে সত্যিকারের কাজের প্রবাহে ঢুকতে শুরু করতে পারে। আমি মনে করি লোকাল AI-এর সবচেয়ে মজার জায়গাটা ঠিক এখানেই। ওকে অবশ্যই “লোকাল ভার্সন ChatGPT” বানাতেই হবে এমন না, বরং ওকে কম্পিউটারের ভেতরে একটা ছোটো AI টুল বানানো, যেটা কাঁচা কন্টেন্ট বাইরে আপলোড করে না, আর যেটাকে প্রোগ্রাম থেকে সরাসরি কল করা যায়। আর এই পুরো সেটআপকে পরে আরও এগিয়ে নিয়ে যাওয়া যায়：TXT পড়া, একসাথে কয়েক ডজন ফাইল ব্যাচ প্রসেস করা, ওয়েবপেজে যুক্ত করা, এমনকি একটা সিম্পল ডেস্কটপ ইন্টারফেস বানানো। এটা শুধু মডেল “চ্যাট করতে পারে কি না” পরীক্ষা করার চেয়ে অনেক বেশি কাছাকাছি আমার বোঝা “লোকাল AI-এর বাস্তব প্রয়োগ”-এর সঙ্গে।