Сьогодні я не тестуватиму чат, я просто дам завдання локальній моделі. Після того як я запустив Ling-3.0 Tiny локально, я завжди вважав, що просте спілкування не дуже цікаве. Справді варто тестувати: чи може вона інтегруватися в реальний робочий процес. Тож на цей раз я не переустановлював модель, а безпосередньо використав локальний API llama.cpp, щоб створити найпростіший «AI-інструмент для обробки тексту». Моя середовище: Windows + llama.cpp + Ling-3.0 Tiny, модель вже надає API через 127.0.0.1:8080. Перший крок — переконайтеся, що модель запущена: http://127.0.0.1:8080/v1/models Якщо ви бачите інформацію про модель — API працює нормально. Потім створіть новий файл ai_test.py і вставте туди наступний код: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Сьогодні на зустрічі основною темою було обговорення запуску нового продукту. Наразі інтерфейс майже завершено, але в модулі оплати залишилося два баги. Продуктовий менеджер хоче, щоб тестування було завершено до п’ятниці. Бекенд повинен повторно перевірити інтерфейс статусу замовлення. Крім того, рекламний текст ще не підтверджено, і дизайнер повинен відповідно змінити головну сторінку. """ prompt = f""" Ти — асистент з упорядкування робочої інформації. Будь ласка, упорядкуй наступний хаотичний запис роботи на: 1. Один речення-резюме 2. Основні проблеми 3. Завдання на виконання 4. Дедлайн 5. Речі, що вимагають співпраці інших Вимоги: - Не вигадуй інформації, якої немає в оригіналі - Якщо інформація невизначена — пиши «не зазначено» - Використовуй українську мову - Виведи чітко, але не надто складно Оригінальний текст: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Запит не вдався:", response.status_code) print(response.text) Потім встановіть requests для Python: pip install requests Нарешті запустіть: python ai_test.py Зараз модель вже не «супроводжує вас у розмові» — вона реально обробляє робочий запис. Я змінив тестовий текст на ще більш хаотичний: Цей проект останнім часом трохи заплутався, головна сторінка майже готова, але вхід іноді видає помилки, вчора Вань сказав, що вже виправив, оплата ще не повністю протестована, краще дати результат до четверга, дизайн рекламних зображень ще змінюється, бос сказав, що обов’язково потрібно запустити до кінця місяця, а конкретна дата ще не визначена. Цей тест насправді значно більш значущий, ніж питання «хто ти?», бо тут навмисно змішано: вже виконане, ще не виконане, нечіткі терміни, завдання різних людей та інформація без чіткого дедлайну. Справжнє завдання — спостерігати, чи здатна модель розрізняти факти й припущення. Якщо вона правильно інтерпретує «запуск до кінця місяця» як дедлайн, але не перетворює «краще дати результат до четверга» на офіційний термін — цей тест має сенс. Наступний крок навіть не потребує зміни моделі — достатньо замінити text на: запис зустрічей, чати з клієнтами, повідомлення в робочих групах, вимоги до проекту, особисті нотатки. Навіть невелика локальна модель розміром кілька десятків МБ може почати працювати в реальних робочих процесах. Ось у чому найцікавіше місце локального штучного інтелекту. Не потрібно перетворювати його на «локальну версію ChatGPT» — достатньо зробити його невеликим AI-нструментом у комп’ютері, який не завантажує оригінальні дані в мережу і може безпосередньо викликатися програмами. Крім того, цю систему можна далі розвивати: читати TXT-файли, обробляти десятки файлів одночасно, інтегрувати з веб-сторінками або навіть створити простий настільний інтерфейс. Це набагато ближче до моєї концепції «реального застосування локального AI», ніж просте тестування, чи модель вміє спілкуватися.