今日はチャットテストはしないで、ローカルモデルに直接作業させます。 Ling-3.0 Tiny をローカルで動かした後、単なるチャットはあまり意味がないと感じていました。 本当のテスト価値は、それが実際のワークフローに組み込めるかどうかです。 そこで今回はモデルを再デプロイせず、llama.cpp のローカル API を直接利用して、最もシンプルな「AI テキスト整理ツール」を作成しました。 私の環境は Windows + llama.cpp + Ling-3.0 Tiny で、モデルは既に 127.0.0.1:8080 から API を提供しています。 まず、モデルが起動していることを確認します： http://127.0.0.1:8080/v1/models モデル情報が表示されれば、API は正常に動作しています。 次に ai_test.py を新規作成し、以下のコードをそのまま貼り付けます： import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ 今天开会主要讨论了新产品上线的问题。 目前UI已经基本完成，但是支付模块还有两个bug。 产品经理希望周五之前完成测试。 后端需要重新检查订单状态接口。 另外宣传文案还没有最终确定，设计师需要根据最终文案修改首页。 """ prompt = f""" 你现在是一个工作信息整理助手。 请把下面这段杂乱的工作记录整理成： 1. 一句话摘要 2. 主要问题 3. 待办事项 4. 截止时间 5. 需要其他人配合的事情 要求： - 不要编造原文没有的信息 - 信息不确定就写“未明确” - 使用中文 - 输出清晰，但不要写得过度复杂 原始内容： {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("请求失败：", response.status_code) print(response.text) その後、Python の requests をインストールします： pip install requests 最後に実行します： python ai_test.py このとき、モデルは「私とチャットする」のではなく、実際に作業記録を処理しています。 さらに、テスト内容をもっと混乱した文章に置き換えました： このプロジェクト最近ちょっと乱れてる、ホームページはほぼ完成したけど、 ログイン時にたまにエラーが出る、昨日小王が既に直したって言ってた、 支払い機能はまだ完全にテストされてない、木曜日までには結果を出したい、 宣伝画像のデザインはまだ修正中、社長は月末までには必ずリリースしたいって言ってる、 具体的な日付はまだ決まってない。 このようなテストは、「あなたは誰ですか？」と聞かせて答えるよりもずっと意味があります。 なぜなら、ここには意図的に： すでに完了したタスク、未完了のタスク、曖昧な日付、異なる人のタスク、明確な締切のない情報が混ざっているからです。 本当に観察すべきは、モデルが事実と推測を正しく区別できるかどうかです。 もし「月末までにリリース」を正しく締切要件として認識し、「木曜日までに結果を出したい」を正式な締切に勝手に変更しなければ、この小さなテストは価値があります。 次のステップでは、モデルを変更する必要すらなく、text を以下のように置き換えるだけで済みます： 会議記録、カスタマーサポートのチャット履歴、ワークグループのメッセージ、プロジェクト要件、自分のメモ。 数十MBのローカル小型モデルでも、本格的なワークフローに組み込むことができます。 私はローカルAIの最も面白い点がここにあると思っています。 「ローカル版 ChatGPT」になる必要はなく、原始的なコンテンツをアップロードせずに、プログラムから直接呼び出せる小型AIツールにすることです。 さらにこの仕組みは後から拡張できます：TXTファイルを読み取る、数十ファイルを一括処理する、Webに接続する、あるいはシンプルなデスクトップUIにするなど。 単にモデルがチャットできるかどうかをテストするよりも、これが私が考える「ローカルAIの本物の実装」に近いです。