У macOS 27 було введено LLM, але про це дуже мало статей, тому я вирішив розглянути це: https://t.co/7m33xszKVb Чи можна використовувати вбудований у Mac штучний інтелект у роботі? Рев’ю інженера Apple «fm» [macOS 27 / fm-команда / локальний LLM] AI-лабораторія UsaHacker від CodeRabbit #AIСкорочення Сила та застосування локального LLM «fm-команда» у macOS 27 🔳 Apple вбудувала локальний LLM У відео представлена ​​команда «fm», яка дозволяє використовувати локальний LLM від Apple у macOS 27. Це викликає інтерес як механізм, що дозволяє запускати штучний інтелект на Mac з чіпами Apple Silicon без залежності від хмари. 🔳 Офлайн, безкоштовно, без обмежень на кількість викликів Команда «fm» працює без підключення до Інтернету, і за кожне використання не стягується додаткова плата. Оскільки дані не надсилаються зовні, це має переваги з точки зору захисту приватності. 🔳 Вимоги та початкова настройка У відео зазначено, що необхідні чіпи Apple M3 або новіші та не менше 12 ГБ оперативної пам’яті. Спочатку потрібно погодитися з умовами використання за допомогою команди «fm license», а потім перевірити доступність моделей за допомогою «fm available». Після активації моделі можна починати використання. 🔳 Основні функції fm-команди За допомогою «fm chat» можна спілкуватися з діалоговим ІІ, а за допомогою «fm respond» — обробляти окремі запити. Крім того, вона підтримує витягування тексту з зображень за допомогою OCR, читання штрих-кодів, структурований вивід у форматі JSON та функцію API-сервера. 🔳 Інтеграція через API, сумісний з OpenAI За допомогою «fm serve» можна запустити локальний API-сервер. Через інтерфейс, сумісний з OpenAI, можна викликати fm ззовні через такі інструменти, як OpenCode, і вбудовувати його в AI-агенти або системи автоматизації. 🔳 Інтеграція з Python та shell-скриптами Поєднуючи fm з Python SDK або shell-скриптами, можна автоматизувати завдання: переклад, OCR, організація файлів тощо. Якщо вказати формат виводу через JSON-схему, результати легше обробляти програмно. 🔳 Найбільший недолік — обмеження 8192 токенами Розмір контекстного вікна становить лише 8192 токени, що робить його непридатним для обробки довгих текстів або великих обсягів коду. У відео порівнюється з GPT-3.5 Turbo 2023 року — і вважається, що обмеження значні порівняно з сучасними потужними LLM. 🔳 Застарілі знання та галюцинації У тестах було виявлено, що знання моделі припиняються приблизно на жовтень 2024 року. Вона не може самостійно шукати останню інформацію, і є ризик помилок або галюцинацій. Однак у деяких запитах, наприклад, коли потрібно було заперечити фантастичний сюжет, модель давала правильну відповідь. 🔳 Перевірка кодингу через інтеграцію з OpenCode Налаштовуючи fm як субагент OpenCode, було створено HTML-додаток для списку справ. Приблизно за 20 хвилин було реалізовано базовий функціонал додавання та видалення, але інтерфейс був простим, а підтримка японської мови залишилася проблемною. 🔳 Потенціал як субагент Оскільки fm має строге обмеження контексту, реалістичніше використовувати її не як основний ІІ, а як субагент для обмежених завдань: переклад, видобування тексту, просте генерування коду тощо. ◙ Очікування щодо автоматизації великих обсягів даних Передбачається застосування для обробки сотень або тисяч зображень через OCR, або розбиття довгих текстів на частини для перекладу. Оскільки немає додаткових платежів за кількість операцій, це має переваги при повторюваних операціях у поєднанні з програмами. ◙ Загальна оцінка на даний момент Очікувати від fm продуктивності на рівні сучасних хмарних LLM — занадто рано. Але її переваги — безкоштовність та офлайн-режим — мають цінність. Для розробників, яким потрібні невеликі автоматизації або експерименти з AI-агентами, це цікавий варіант.