Hindi ako magtatalakay ngayon, diretso ko na lang gagawin ng lokal na model. Pagkatapos i-run ang Ling-3.0 Tiny sa lokal, palaging isipin ko na ang simpleng pag-uusap ay hindi gaanong kahalaga. Ang totoo namang dapat subukan ay: kaya ba nito ma-integrate sa isang aktwal na workflow. Kaya nito, hindi ko muli in-deploy ang model, kundi direktang ginamit ko ang lokal na API ng llama.cpp upang gumawa ng pinakasimpleng “AI Text Organizer.” Ang aking environment ay Windows + llama.cpp + Ling-3.0 Tiny, at ang model ay nasa API na nasa 127.0.0.1:8080. Una, tiyakin muna na naka-start ang model: http://127.0.0.1:8080/v1/models Kung makikita mo ang impormasyon ng model, nangangahulugan ito na normal ang API. Pagkatapos, gumawa ng bagong ai_test.py at i-paste ang sumusunod na code: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Ngayon sa meeting, pinag-usapan ang mga isyu tungkol sa paglunsad ng bagong produkto. Kasalukuyang malapit na ang UI, ngunit may dalawang bug sa payment module. Gusto ng product manager na tapusin ang pagsubok bago Friday. Kailangan ng backend na i-recheck ang order status interface. Dagdag pa, ang promotional copy ay hindi pa nakakapagtapos, kaya kailangan ng designer na i-adjust ang homepage batay sa huling copy. """ prompt = f""" Ikaw ay isang assistant para sa pag-ayos ng impormasyon sa trabaho. Pakiusap ayusin ang sumusunod na kakaibang tala ng trabaho sa: 1. Isang pangkalahatang pagsusummary 2. Mga pangunahing problema 3. Mga gawain na kailangang gawin 4. Deadline 5. Mga bagay na kailangan ng tulong mula sa iba Mga kahilingan: - Huwag magdagdag ng impormasyon na wala sa orihinal - Kung hindi sigurado, isulat na “hindi malinaw” - Gamitin ang Chinese - I-output nang malinaw, ngunit huwag masyadong kumplikado Orihinal na nilalaman: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Nabigo ang request:", response.status_code) print(response.text) Pagkatapos, i-install ang requests para sa Python: pip install requests At huli, i-run: python ai_test.py Sa panahong ito, hindi na ang model na “kasama mong nagsasalita,” kundi ito ay direktang nag-aayos ng isang tala ng trabaho. Ibinago ko pa ang test content sa isang mas kakaibang teksto: Ang proyektong ito ay medyo kalat ngayon, malapit na ang homepage, ngunit may error minsan sa login, sinabi ni Wang kahapon na nasolusyunan na, hindi pa buo ang pagsubok sa payment, kaya kung pwede ay bigyan ng resulta bago Thursday, nagbabago pa rin ang design ng promotional image, sinabi ng boss na dapat ilunsad bago end of month, ngunit hindi pa malinaw kung anong araw eksaktong. Ang ganitong uri ng pagsubok ay mas may kahulugan kaysa sa pagtanong sa model kung “Sino ka?” Dahil dito, sinadya kong isama ang: mga gawain na tapos na, mga gawain na hindi pa tapos, ambigong petsa, iba’t ibang tao’s responsibilidad, at impormasyon na walang malinaw na deadline. Ang totoo namang dapat obserbahan ay kung kaya ng model na ibigay ang pagkakaiba sa katotohanan at hula. Kung tama niyang natukoy ang “ilunsad bago end of month” bilang isang deadline, samantalang hindi niya isinalin ang “kung pwede ay resulta bago Thursday” bilang opisyal na deadline, may halaga na ang simpleng pagsubok na ito. Ang susunod na hakbang ay hindi kailangang baguhin ang model—kailangan lang baguhin ang text sa: meeting notes, chat logs ng customer service, mensahe sa work group, project requirements, o sariling notes. Isang lokal na maliit na model na 几十 MB lang ay maaari nang magsimula sa aktwal na workflow. Ito ang pinakamalaking interesante sa lokal na AI para sa akin. Hindi dapat itong maging “ChatGPT version lokal,” kundi isang maliit na AI tool sa loob ng computer na hindi mag-uupload ng orihinal na nilalaman at maaaring direktang i-call ng program. At maaari pang palawakin pa ito: basahin ang TXT, i-process nang buong batch ang mga file, i-integrate sa web, o gawing simpleng desktop interface. Ito ay mas malapit sa aking pag-unawa sa “totoong pagpapatupad ng lokal na AI” kaysa sa simpleng pagsubok kung kaya ng model na mag-usap.