O LLM integrado no macOS 27 não é muito mencionado em artigos, então decidi abordá-lo: https://t.co/7m33xszKVb O AI embutido no Mac é útil para trabalho? Revisão do "fm" da Apple sob a perspectiva de um engenheiro 【macOS 27/fm command/local LLM】 AI Lab do Usagi Hacker por CodeRabbit　#AIResumo Desempenho e métodos de uso do LLM local "fm command" integrado ao macOS 27 🔳 Apple integra LLM local como padrão No vídeo, é apresentado o "fm command", que permite o uso do LLM da Apple no macOS 27. É destacado como um mecanismo que executa IA sem depender da nuvem, em Macs com silicon Apple. 🔳 Funciona offline, sem custos nem limites de uso O comando fm opera sem conexão à internet e não cobra taxas adicionais, independentemente do número de utilizações. Por processar dados localmente, sem enviá-los para fora, oferece benefícios significativos em termos de proteção de privacidade. 🔳 Requisitos e configuração inicial O vídeo explica que são necessários chips Apple M3 ou superiores e pelo menos 12 GB de memória. Primeiramente, é preciso aceitar os termos de uso com "fm license" e verificar a disponibilidade do modelo com "fm available". Após ativar o modelo, o uso pode ser iniciado. 🔳 Principais funcionalidades do fm command Permite "fm chat" para interação com IA e "fm respond" para respostas individuais. Além disso, inclui extração de texto de imagens via OCR, leitura de códigos de barras, saída estruturada em JSON e funcionalidade de servidor API. 🔳 Integração externa via API compatível com OpenAI Com "fm serve", é possível iniciar um servidor API local. Por meio de uma interface compatível com OpenAI, ferramentas externas como OpenCode podem chamar o fm e integrá-lo a agentes de IA ou sistemas automatizados. 🔳 Integração com Python e scripts shell Combinado com o SDK do Python ou scripts shell, é possível automatizar tarefas como tradução, OCR e organização de arquivos. Ao especificar o formato de saída por meio de JSON schema, os resultados tornam-se mais fáceis de manipular por programas. 🔳 Maior limitação: janela de contexto de 8192 tokens A janela de contexto é limitada a 8192 tokens, tornando-o inadequado para processamento de textos longos ou codificação em larga escala. O vídeo compara-o ao GPT-3.5 Turbo de cerca de 2023, avaliando que suas restrições são significativas em comparação com os LLMs atuais de alto desempenho. 🔳 Conhecimento desatualizado e alucinações Na verificação apresentada no vídeo, constata-se que o conhecimento do modelo está parado por volta de outubro de 2024. Ele não realiza buscas autônomas por informações mais recentes e apresenta riscos de erros factuais e alucinações. Contudo, foram observadas respostas adequadas em certas perguntas, como a negação correta de ficções inventadas. 🔳 Verificação de codificação com OpenCode Configurado como subagente do OpenCode, o fm foi usado para criar um aplicativo ToDo em HTML. Após cerca de 20 minutos, foi possível implementar funcionalidades básicas de adição e exclusão, mas a interface permaneceu simples e apresentou problemas com entrada em japonês. 🔳 Potencial como subagente Dada a severa limitação de contexto, o fm é considerado mais realista como subagente para tarefas específicas — como tradução, extração de texto e geração simples de código — em vez de ser usado como IA principal. 🔳 Esperança para processamento automático em larga escala É esperado seu uso para processar centenas a milhares de imagens via OCR ou dividir textos longos para tradução. Como não há cobrança por número de operações, sua combinação com programas para processamento repetitivo oferece vantagens claras. 🔳 Avaliação geral atual Ainda é prematuro esperar desempenho equivalente aos LLMs em nuvem mais recentes, mas seu valor reside na gratuidade e na funcionalidade offline. Para desenvolvedores que desejam experimentar automações pequenas ou agentes de IA, é uma opção interessante.