今天不測聊天，我直接讓本地模型幹活。 之前把 Ling-3.0 Tiny 跑在本地之後，我一直覺得單純聊天其實沒什麼意思。 真正值得測試的是：它能不能接進一個實際工作流。 所以這次我沒有重新部署模型，而是直接利用 llama.cpp 的本地 API，做了一個最簡單的「AI 文本整理器」。 我的環境是 Windows + llama.cpp + Ling-3.0 Tiny，模型已經通過 127.0.0.1:8080 提供 API。 第一步，先確認模型已經啟動： http://127.0.0.1:8080/v1/models 能看到模型資訊，就說明 API 正常。 然後新建一個 ai_test.py，把下面代碼直接放進去： import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ 今天開會主要討論了新產品上線的問題。 目前UI已經基本完成，但是支付模塊還有兩個bug。 產品經理希望週五之前完成測試。 後端需要重新檢查訂單狀態接口。 另外宣傳文案還沒有最終確定，設計師需要根據最終文案修改首頁。 """ prompt = f""" 你現在是一個工作資訊整理助手。 請把下面這段雜亂的工作記錄整理成： 1. 一句話摘要 2. 主要問題 3. 待辦事項 4. 截止時間 5. 需要其他人配合的事情 要求： - 不要編造原文沒有的資訊 - 資訊不確定就寫“未明確” - 使用中文 - 輸出清晰，但不要寫得過度複雜 原始內容： {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("請求失敗：", response.status_code) print(response.text) 然後安裝 Python 的 requests： pip install requests 最後運行： python ai_test.py 這時候模型就不是“陪我聊天”了，而是在真正處理一份工作記錄。 我又把測試內容換成了一段更加混亂的文字： 這個項目最近有點亂，首頁差不多了， 但是登入偶爾會報錯，昨天小王說已經修了， 支付還沒有完全測，週四最好能給一個結果， 宣傳圖設計那邊還在改，老闆說月底之前一定要上線， 具體是哪一天現在還沒定。 這種測試其實比讓模型回答“你是誰”有意義得多。 因為這裡面故意混進了： 已經完成的事情、沒有完成的事情、模糊時間、不同人的任務，以及沒有明確截止日期的資訊。 真正需要觀察的是模型能不能區分事實和推測。 如果它把“月底之前上線”正確識別成截止要求，同時沒有擅自把“週四最好給結果”變成正式截止日期，這個小測試就有價值。 下一步甚至不用改模型，只需要把 text 換成： 會議記錄、客服聊天記錄、工作群消息、項目需求、自己的筆記。 一個幾十 MB 的本地小模型，也可以開始進入真正的工作流。 我覺得本地 AI 最有意思的地方就在這裡。 不是一定要讓它成為一個“本地版 ChatGPT”，而是把它變成電腦裡一個不會把原始內容上傳出去、可以被程式直接調用的小型 AI 工具。 而且這套東西後面還能繼續往下改：讀取 TXT、批量處理幾十個檔案、接入網頁，甚至做成一個簡單的桌面介面。 這比單純測試模型會不會聊天，更接近我理解的“本地 AI 真正落地”。