На macOS 27 внедрённая LLM редко упоминается в статьях, поэтому я решил рассмотреть её подробно. https://t.co/7m33xszKVb Можно ли использовать встроенный в Mac ИИ для работы? Обзор Apple «fm» с точки зрения инженера 【macOS 27 / fm-команда / локальная LLM】 AI-лаборатория Ushagi Hacker от CodeRabbit #AIРезюме Мощность и способы применения локальной LLM «fm-команда» в macOS 27 🔳 Apple внедрила локальную LLM по умолчанию В видео представлено, что в macOS 27 появилась команда «fm», позволяющая использовать локальную LLM от Apple. Эта функция привлекает внимание как механизм запуска ИИ на Mac с чипами Apple Silicon без зависимости от облака. 🔳 Работает офлайн, бесплатно, без ограничений по количеству запросов Команда «fm» работает без подключения к интернету, и использование не ограничено по количеству обращений и не требует дополнительной оплаты. Поскольку данные не передаются за пределы устройства, это также обеспечивает преимущества в защите конфиденциальности. 🔳 Требования и первоначальная настройка В видео указано, что необходимы чипы Apple M3 или новее и не менее 12 ГБ оперативной памяти. Сначала необходимо согласиться с условиями использования командой «fm license», затем проверить доступность модели командой «fm available». После активации модели можно начинать использование. 🔳 Основные функции fm-команды С помощью «fm chat» можно общаться с интерактивным ИИ, а с помощью «fm respond» — обрабатывать одиночные вопросы. Кроме того, он поддерживает извлечение текста из изображений с помощью OCR, чтение штрих-кодов, структурированный вывод в формате JSON и функцию API-сервера. 🔳 Внешняя интеграция через совместимый с OpenAI API Команда «fm serve» запускает локальный API-сервер. Через интерфейс, совместимый с OpenAI, можно вызывать fm из внешних инструментов, таких как OpenCode, и интегрировать его в AI-агенты или системы автоматизации. 🔳 Интеграция с Python и shell-скриптами С помощью Python SDK и shell-скриптов можно автоматизировать такие задачи, как перевод, OCR и упорядочивание файлов. Если указать формат вывода через JSON-схему, результаты легче обрабатывать программно. 🔳 Главный недостаток — ограничение в 8192 токена Размер контекстного окна составляет всего 8192 токена, что делает его неподходящим для обработки длинных текстов или масштабного кодирования. В видео сравнивается с GPT-3.5 Turbo примерно 2023 года и отмечается, что по сравнению с современными мощными LLM ограничения значительны. 🔳 Устаревшие знания и галлюцинации В ходе проверки в видео указано, что знания модели зафиксированы примерно на октябре 2024 года. Он не может самостоятельно искать актуальную информацию, и существует риск фактических ошибок и галлюцинаций. Однако были зафиксированы и корректные ответы — например, модель правильно отвергла вымышленный рассказ. 🔳 Проверка кодирования через интеграцию с OpenCode Настроив fm как субагент OpenCode, был создан HTML-приложение для списка дел. За около 20 минут удалось реализовать базовые функции добавления и удаления, однако интерфейс остался простым, а ввод на японском языке всё ещё вызывает проблемы. 🔳 Потенциал использования как субагента Из-за строгих ограничений по контексту fm более целесообразно использовать не как основной ИИ, а как субагента для ограниченных задач — например, перевода, извлечения текста или простого генерирования кода. 🔳 Ожидания для автоматической обработки больших объёмов данных Предполагается применение для обработки сотен или тысяч изображений с помощью OCR или разбиения длинных текстов на части для перевода. Поскольку нет дополнительной оплаты за количество операций, это даёт преимущество при повторяющихся задачах в сочетании с программами. 🔳 Общая оценка на текущий момент Ожидать от неё производительности, равной современным облачным LLM, пока преждевременно, но её бесплатность и офлайн-режим имеют ценность. Для разработчиков, желающих экспериментировать с небольшими автоматизациями или AI-агентами, это интересный вариант.