macOS 27'de yer alan LLM hakkında pek çok makale görmediğim için bunu ele aldım. https://t.co/7m33xszKVb Mac'te standart olarak yer alan AI iş için kullanılır mı? Apple'ın 'fm' komutunu mühendislik açısından inceleyelim 【macOS 27/fm komutu/yerel LLM】 Ushagi Hacker'ın AI Laboratuvarı by CodeRabbit　#AIÖzetle macOS 27'de yer alan yerel LLM 'fm komutu'nun gücü ve kullanım yöntemleri 🔳 Apple, yerel LLM'yi standart olarak entegre etti Video, macOS 27'de Apple'ın yerel LLM'sini kullanan 'fm komutu'nun eklendiğini anlatıyor. Apple Silicon ile donatılmış Mac'lerde, buluta bağımlı kalmadan AI'nın çalıştırılmasını sağlayan bir yapı olarak dikkat çekiyor. 🔳 Çevrimdışı, ücretsiz, kullanım sınırı yok fm komutu, internet bağlantısı olmadan çalışır ve ne kadar kullanılırsa kullanılsın ek ücretler oluşmaz. Veriler dışarı gönderilmeden işlendiği için gizlilik koruması açısından da avantajlı olduğu belirtiliyor. 🔳 Kullanım koşulları ve ilk kurulum Video, Apple M3 ve üzeri çipler ile 12 GB'dan fazla bellek gerektirdiğini açıklıyor. İlk olarak 'fm license' komutuyla kullanım şartlarını kabul edin, ardından 'fm available' komutuyla modelin kullanılabilir durumunu kontrol edin. Model etkin hale gelirse kullanım başlar. 🔳 fm komutunun ana fonksiyonları 'fm chat' ile diyalog tabanlı AI, 'fm respond' ile tek seferlik soruları işleme imkanı sunar. Ayrıca OCR ile görüntüdeki metinlerin çıkarılması, barkod okuma, JSON formatında yapılandırılmış çıktı ve API sunucusu işlevleri de mevcuttur. 🔳 OpenAI uyumlu API ile dış entegrasyon 'fm serve' komutu ile yerel API sunucusu başlatılabilir. OpenAI uyumlu arayüz üzerinden OpenCode gibi dış araçlardan fm çağrılabilir ve AI ajanları ya da otomasyon sistemlerine entegre edilebilir. 🔳 Python ve kabuk betikleriyle entegrasyon Python SDK ve kabuk betikleriyle birlikte çeviri, OCR, dosya düzenlemesi gibi otomatik işlemler yapılabilir. JSON şeması ile çıktı formatı belirlenirse, sonuçlar programlar tarafından daha kolay işlenebilir. 🔳 En büyük zayıflığı: 8192 token sınırı Bağlam penceresi 8192 token olarak sınırlı olup, uzun metin işleme veya büyük ölçekli kodlama için uygun değildir. Video, bu modeli 2023 yılı civarındaki GPT-3.5 Turbo ile karşılaştırarak, günümüzün yüksek performanslı LLM'leriyle kıyaslandığında kısıtlamaların büyük olduğunu değerlendiriyor. 🔳 Bilgi eski kalması ve halüsinasyonlar Video içindeki testlerde, modelin bilgilerinin yaklaşık Ekim 2024'te durduğu belirtiliyor. En son bilgileri otomatik olarak arayamaz ve gerçek dışı yanıtlar verme riski vardır. Ancak bazı sorularda, örneğin hayali bir romanı doğru bir şekilde reddetme gibi, uygun cevaplar da elde edildi. 🔳 OpenCode ile entegrasyonla kodlama testi fm'i OpenCode'in alt ajanı olarak ayarlayarak bir HTML ToDo uygulaması oluşturuldu. Yaklaşık 20 dakikada temel ekleme ve silme işlevleri uygulandı ancak UI basit kaldı ve Japonca girişte hâlâ sorunlar mevcut. 🔳 Alt ajan olarak kullanım potansiyeli fm'in bağlam sınırlaması oldukça sıkı olduğu için ana AI olarak kullanılmasından ziyade, çeviri, metin çıkarma, basit kod üretimi gibi sınırlı görevleri üstlenen bir alt ajan olarak kullanılması daha gerçekçi olarak değerlendiriliyor. 🔳 Büyük veri otomasyonunda beklentiler Yüzlerce ila binlerce görüntüyü OCR ile işlemek ya da uzun metinleri bölüp çevirmek gibi kullanım senaryoları öngörülüyor. Kullanım sayısıyla ek ücretlendirme olmadığından, programlarla birlikte tekrarlı işlemlerde avantaj sağlar. 🔳 Şu anki genel değerlendirme Son bulut LLM'leriyle eşit performans beklemek henüz erken olsa da, ücretsiz ve çevrimdışı olma özellikleri değerlidir. Geliştiriciler küçük ölçekli otomasyon veya AI ajan deneyimleri için ilgi çekici bir seçenek olarak değerlendirmektedir.