Сегодня не буду тестировать чат, я сразу заставлю локальную модель работать. После того как я запустил Ling-3.0 Tiny локально, я всегда считал, что просто общаться с ней — не очень интересно. Более важным тестом является: может ли она интегрироваться в реальный рабочий процесс. Поэтому на этот раз я не развертывал модель заново, а напрямую использовал локальный API llama.cpp, чтобы создать простейший «AI-инструмент для обработки текста». Моя среда: Windows + llama.cpp + Ling-3.0 Tiny, модель уже предоставляет API через 127.0.0.1:8080. Первый шаг — убедиться, что модель запущена: http://127.0.0.1:8080/v1/models Если вы видите информацию о модели — API работает нормально. Затем создайте новый файл ai_test.py и вставьте в него следующий код: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Сегодня на встрече в основном обсуждали вопросы запуска нового продукта. В настоящее время интерфейс в основном завершен, но в модуле оплаты есть две ошибки. Продуктовый менеджер хочет, чтобы тестирование было завершено до пятницы. Бэкенд должен повторно проверить интерфейс статуса заказа. Кроме того, рекламный текст еще не окончательно утвержден, дизайнеру нужно изменить главную страницу в соответствии с финальной версией текста. """ prompt = f""" Ты — помощник по структурированию рабочей информации. Пожалуйста, структурируй следующий хаотичный рабочий отчет на: 1. Однострочное резюме 2. Основные проблемы 3. Задачи на выполнение 4. Сроки выполнения 5. Действия, требующие сотрудничества других лиц Требования: - Не придумывайте информацию, которой нет в оригинале - Если информация неясна — пишите «не указано» - Используйте китайский язык - Вывод должен быть четким, но не излишне сложным Исходный текст: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Запрос не удался:", response.status_code) print(response.text) Затем установите requests для Python: pip install requests И запустите: python ai_test.py Теперь модель не «общается с вами», а реально обрабатывает рабочий отчет. Я заменил тестовый текст на еще более хаотичный: Этот проект недавно стал немного запутанным: главная страница почти готова, но вход в систему иногда выдает ошибки — вчера Ван сказал, что уже исправил, оплата еще не полностью протестирована, лучше получить результат к четвергу, дизайнеры еще дорабатывают рекламные изображения, босс сказал, что продукт обязательно должен выйти до конца месяца, но конкретная дата пока не определена. Такой тест на самом деле гораздо более значим, чем спрашивать модель: «Кто ты?», потому что здесь намеренно включены: уже завершенные задачи, незавершенные задачи, расплывчатые сроки, задачи разных людей и информация без четких дедлайнов. Главное — наблюдать, может ли модель различать факты и предположения. Если она правильно идентифицирует «выход до конца месяца» как требование к сроку, но не превращает «лучше получить результат к четвергу» в официальный дедлайн — этот тест будет иметь ценность. На следующем этапе даже не нужно менять модель — достаточно заменить text на: записи совещаний, чаты с поддержкой, сообщения в рабочих группах, требования к проекту, собственные заметки. Даже небольшая локальная модель размером в десятки мегабайт может начать работать в реальном рабочем процессе. Вот в чем, по моему мнению, самое интересное в локальном ИИ. Не обязательно превращать его в «локальную версию ChatGPT» — достаточно сделать его маленьким ИИ-инструментом внутри компьютера, который не загружает исходные данные в сеть и может быть напрямую вызван программой. Кроме того, эту систему можно дальше развивать: читать TXT-файлы, обрабатывать десятки файлов пакетно, интегрировать с веб-страницами или даже создать простой интерфейс для настольного приложения. Это гораздо ближе к моему пониманию «реального внедрения локального ИИ», чем просто тестировать, умеет ли модель общаться.