On macOS 27, l'LLM intégré n'est pas souvent mentionné dans les articles, alors j'ai décidé d'en parler : https://t.co/7m33xszKVb L'IA intégrée sur Mac est-elle utile au travail ? Analyse d'un ingénieur sur « fm » d'Apple [macOS 27 / commande fm / LLM local] AI Lab by Ushagi Hacker by CodeRabbit #AIrésumé Les capacités et utilisations de « fm », l'LLM local intégré à macOS 27 🔳 Apple intègre un LLM local en standard La vidéo présente la commande « fm », disponible sur macOS 27, permettant d'utiliser un LLM développé par Apple. Elle attire l'attention comme une solution permettant d'exécuter l'IA sur les Mac équipés d'Apple Silicon sans dépendre du cloud. 🔳 Fonctionne hors ligne, sans frais ni limite d'utilisation La commande « fm » fonctionne sans connexion Internet et ne génère aucun frais supplémentaire, quel que soit le nombre d'utilisations. Elle traite les données localement, offrant ainsi un avantage en matière de protection de la vie privée. 🔳 Conditions d'utilisation et configuration initiale La vidéo indique qu'un chip Apple M3 ou ultérieur et au moins 12 Go de RAM sont requis. En premier lieu, il faut accepter les conditions d'utilisation via « fm license », puis vérifier la disponibilité du modèle avec « fm available ». Une fois le modèle activé, l'utilisation peut commencer. 🔳 Fonctions principales de la commande « fm » « fm chat » permet une interaction conversationnelle, tandis que « fm respond » traite des questions ponctuelles. Elle inclut également l'extraction de texte d'images via OCR, la lecture de codes-barres, la sortie structurée au format JSON et une fonction de serveur API. 🔳 Intégration externe via API compatible OpenAI Avec « fm serve », il est possible de lancer un serveur API local. Grâce à une interface compatible OpenAI, des outils externes comme OpenCode peuvent appeler « fm » pour l'intégrer dans des agents IA ou des systèmes d'automatisation. 🔳 Intégration avec Python et scripts shell En combinant le SDK Python ou des scripts shell, il est possible d'automatiser des tâches telles que la traduction, l'OCR ou l'organisation de fichiers. En spécifiant un schéma JSON pour le format de sortie, les résultats deviennent plus faciles à manipuler par des programmes. 🔳 Principal point faible : limite de 8192 tokens La fenêtre de contexte est limitée à 8192 tokens, ce qui la rend peu adaptée aux traitements de textes longs ou à la programmation à grande échelle. La vidéo compare cette capacité au GPT-3.5 Turbo d'environ 2023, estimant que les contraintes sont importantes par rapport aux LLM modernes. 🔳 Connaissances obsolètes et hallucinations Les tests dans la vidéo révèlent que les connaissances du modèle s'arrêtent vers octobre 2024. Il ne peut pas rechercher des informations en temps réel de manière autonome, ce qui soulève des risques d'erreurs factuelles ou d'hallucinations. Toutefois, certaines réponses sont pertinentes, comme la négation correcte de fictions imaginaires. 🔳 Vérification du codage via intégration avec OpenCode En configurant « fm » comme sous-agent d'OpenCode, une application ToDo HTML a été créée. En environ 20 minutes, les fonctionnalités de base d'ajout et de suppression ont été implémentées, mais l'interface reste simplifiée et présente des problèmes avec l'entrée en japonais. 🔳 Potentiel en tant que sous-agent Étant donné ses limites de contexte, il est plus réaliste d'utiliser « fm » comme sous-agent dédié à des tâches spécifiques — traduction, extraction de texte, génération simple de code — plutôt que comme IA principale. 🔳 Attentes pour le traitement automatisé de grandes quantités de données Il est envisagé d'utiliser « fm » pour traiter des centaines à des milliers d'images via OCR ou pour traduire des textes longs en les divisant. L'absence de frais par traitement rend cette solution intéressante pour des traitements répétés combinés à des programmes. 🔳 Évaluation globale actuelle Il est prématuré d'attendre des performances équivalentes aux LLM cloud les plus récents, mais son caractère gratuit et hors ligne en fait une valeur ajoutée. Pour les développeurs cherchant à expérimenter des automatisations modestes ou des agents IA, c'est une option intéressante.