Tidak banyak artikel yang membahas LLM yang disematkan di macOS 27, jadi saya memilih untuk membahasnya. https://t.co/7m33xszKVb Apakah AI yang disematkan secara bawaan di Mac berguna untuk pekerjaan? Ulasan dari sudut pandang insinyur terhadap "fm" Apple 【macOS 27/fm command/local LLM】 AI Lab Ushigi Hacker oleh CodeRabbit　#AISummary Kemampuan dan Cara Memanfaatkan "fm Command" LLM Lokal yang Disematkan di macOS 27 🔳 Apple menyematkan LLM lokal secara bawaan Dalam video ini, diperkenalkan "fm command" yang memungkinkan penggunaan LLM buatan Apple di macOS 27. Fitur ini menarik perhatian karena memungkinkan eksekusi AI tanpa bergantung pada cloud, khususnya pada Mac dengan chip Apple Silicon. 🔳 Offline, gratis, tanpa batasan penggunaan fm command berjalan tanpa koneksi internet dan tidak mengenakan biaya tambahan berapa pun banyaknya penggunaan. Karena pemrosesan dilakukan tanpa mengirim data ke luar, fitur ini juga memberikan keuntungan dalam hal perlindungan privasi. 🔳 Syarat penggunaan dan pengaturan awal Video menjelaskan bahwa diperlukan chip Apple M3 atau lebih baru serta memori minimal 12GB. Pertama-tama, gunakan "fm license" untuk menyetujui ketentuan penggunaan, lalu periksa ketersediaan model dengan "fm available". Setelah model diaktifkan, Anda dapat mulai menggunakannya. 🔳 Fitur utama fm command Anda dapat menggunakan "fm chat" untuk interaksi berbasis percakapan dan "fm respond" untuk menangani pertanyaan tunggal. Selain itu, fm juga dilengkapi dengan kemampuan ekstraksi teks dari gambar melalui OCR, pembacaan barcode, output terstruktur dalam format JSON, dan fungsi server API. 🔳 Integrasi eksternal melalui API kompatibel OpenAI Dengan "fm serve", Anda dapat menjalankan server API lokal. Melalui antarmuka yang kompatibel dengan OpenAI, fm dapat dipanggil oleh alat eksternal seperti OpenCode, memungkinkan integrasi ke dalam agen AI atau sistem otomatisasi. 🔳 Integrasi dengan Python dan skrip shell Dengan menggabungkan SDK Python atau skrip shell, Anda dapat melakukan otomatisasi seperti terjemahan, OCR, dan pengelolaan file. Dengan menentukan format output menggunakan JSON schema, hasilnya menjadi lebih mudah diproses oleh program. 🔳 Kelemahan utama: batasan 8192 token Jendela konteks hanya 8192 token, yang tergolong kecil, sehingga kurang cocok untuk pemrosesan teks panjang atau pengkodean berskala besar. Video membandingkannya dengan GPT-3.5 Turbo sekitar tahun 2023, dan menilai bahwa batasan ini signifikan dibandingkan LLM modern saat ini. 🔳 Kedaluwarsa pengetahuan dan halusinasi Pengujian dalam video menunjukkan bahwa pengetahuan model berhenti sekitar Oktober 2024. Model tidak dapat mencari informasi terbaru secara mandiri, sehingga berpotensi menghasilkan kesalahan fakta atau halusinasi. Namun, dalam beberapa pertanyaan, model mampu memberikan jawaban yang tepat, seperti menyangkal fiksi fiktif secara akurat. 🔳 Pengujian pengkodean dengan OpenCode Dengan mengatur fm sebagai sub-agents OpenCode, aplikasi ToDo HTML dibuat. Setelah sekitar 20 menit, fitur dasar penambahan dan penghapusan berhasil diimplementasikan, tetapi antarmuka tetap sederhana dan masih mengalami masalah dengan input bahasa Jepang. 🔳 Potensi penggunaan sebagai sub-agent Karena batasan konteks yang ketat, fm lebih realistis digunakan sebagai sub-agent yang bertanggung jawab atas tugas terbatas seperti terjemahan, ekstraksi teks, atau pembuatan kode sederhana, daripada sebagai AI utama. 🔳 Harapan untuk pemrosesan otomatis data besar Penggunaan yang diharapkan termasuk pemrosesan OCR untuk ratusan hingga ribuan gambar, atau menerjemahkan teks panjang dengan membaginya menjadi bagian-bagian kecil. Karena tidak ada biaya tambahan berdasarkan jumlah pemrosesan, integrasi dengan program untuk pemrosesan berulang memberikan keuntungan signifikan. 🔳 Evaluasi komprehensif saat ini Masih terlalu dini untuk mengharapkan kinerja setara dengan LLM cloud terkini, tetapi fitur gratis dan offline memiliki nilai tersendiri. Bagi pengembang yang ingin mencoba otomatisasi skala kecil atau eksperimen agen AI, fm merupakan pilihan yang menarik.