En macOS 27, el LLM integrado no se ve mucho en artículos, así que lo he destacado: https://t.co/7m33xszKVb ¿Puede usarse la IA integrada en Mac para el trabajo? Revisión desde la perspectiva de un ingeniero de "fm" de Apple 【macOS 27 / comando fm / LLM local】 AI Lab de Usagi Hacker por CodeRabbit #AIResumen Capacidad y métodos de uso del LLM local "comando fm" integrado en macOS 27 🔳 Apple integra un LLM local por defecto En el video se presenta el "comando fm", que permite utilizar un LLM desarrollado por Apple en macOS 27. Se destaca como un mecanismo que ejecuta IA sin depender de la nube en Mac con chip Apple Silicon. 🔳 Funciona sin conexión, sin límites ni costos adicionales El comando fm funciona sin conexión a Internet y no genera cargos adicionales, independientemente de cuántas veces se use. Se explica que, al procesar los datos sin enviarlos externamente, ofrece ventajas en términos de protección de privacidad. 🔳 Requisitos y configuración inicial El video indica que se necesitan chips Apple M3 o posteriores y al menos 12 GB de memoria. Primero, se debe aceptar los términos de uso con "fm license", luego verificar la disponibilidad del modelo con "fm available". Una vez activado el modelo, se puede comenzar a usarlo. 🔳 Funciones principales del comando fm Permite interacción mediante "fm chat" y respuestas individuales con "fm respond". Además, incluye extracción de texto de imágenes mediante OCR, lectura de códigos de barras, salida estructurada en formato JSON y funcionalidad de servidor API. 🔳 Integración externa mediante API compatible con OpenAI Con "fm serve" se puede iniciar un servidor API local. A través de una interfaz compatible con OpenAI, se pueden invocar fm desde herramientas externas como OpenCode, integrándolo en agentes de IA o sistemas automatizados. 🔳 Integración con Python y scripts de shell Combinado con el SDK de Python o scripts de shell, permite automatizar tareas como traducción, OCR y organización de archivos. Al especificar el formato de salida mediante un esquema JSON, es más fácil manejar los resultados desde programas. 🔳 La mayor debilidad: límite de 8192 tokens La ventana de contexto es de solo 8192 tokens, lo que la hace inadecuada para procesar textos largos o codificación a gran escala. El video compara su rendimiento con GPT-3.5 Turbo de alrededor de 2023, evaluando que las limitaciones son significativas frente a los LLM actuales de alto rendimiento. 🔳 Conocimiento obsoleto y alucinaciones En las pruebas del video, se señala que el conocimiento del modelo se detiene aproximadamente en octubre de 2024. No puede buscar información actualizada por sí mismo, y existe riesgo de errores factuales o alucinaciones. Sin embargo, se confirmó que responde adecuadamente a ciertas preguntas, como negar correctamente la existencia de una novela ficticia. 🔳 Prueba de codificación con OpenCode Configurado como subagente de OpenCode, se creó una aplicación ToDo en HTML. Se logró implementar funciones básicas de adición y eliminación en aproximadamente 20 minutos, aunque la interfaz fue simple y persistieron problemas con la entrada en japonés. 🔳 Posibilidad de uso como subagente Dado el estricto límite de contexto, se considera más realista utilizar fm como subagente encargado de tareas limitadas —como traducción, extracción de texto o generación simple de código— en lugar de como IA principal. 🔳 Esperanzas para procesamiento automático de grandes volúmenes de datos Se prevé su uso para procesar cientos o miles de imágenes mediante OCR, o dividir textos largos para traducirlos. Al no haber cargos por número de procesamientos, ofrece ventajas en tareas repetitivas combinadas con programas. 🔳 Evaluación general en este momento Aún es prematuro esperar rendimiento equivalente a los LLM en la nube más recientes, pero su valor radica en ser gratuito y operar sin conexión. Se concluye que es una opción interesante para desarrolladores que deseen experimentar con automatización pequeña o agentes de IA.