Di macOS 27, LLM yang diintegrasikan jarang dibahas, jadi saya memilih untuk membahasnya. https://t.co/7m33xszKVb Apakah AI yang sudah terpasang di Mac bisa digunakan untuk pekerjaan? Tinjauan dari sudut pandang insinyur terhadap "fm" Apple 【macOS 27/fm command/local LLM】 AI Lab Ushagi Hacker oleh CodeRabbit　#AIringkasan Kemampuan dan cara memanfaatkan "fm command", LLM lokal yang terintegrasi di macOS 27 🔳 Apple mengintegrasikan LLM lokal secara bawaan Dalam video ini diperkenalkan "fm command" yang memungkinkan penggunaan LLM buatan Apple di macOS 27. Fitur ini menarik perhatian karena memungkinkan eksekusi AI tanpa bergantung pada cloud, khususnya di Mac dengan chip Apple Silicon. 🔳 Offline, gratis, tanpa batasan penggunaan fm command berjalan tanpa koneksi internet dan tidak memerlukan biaya tambahan berapa pun banyaknya penggunaan. Karena pemrosesan dilakukan tanpa mengirim data ke luar, fitur ini juga memberikan keuntungan dalam hal perlindungan privasi. 🔳 Persyaratan penggunaan dan pengaturan awal Video menjelaskan bahwa diperlukan chip Apple M3 atau lebih baru serta memori minimal 12 GB. Pertama-tama, gunakan "fm license" untuk menyetujui ketentuan penggunaan, lalu periksa ketersediaan model dengan "fm available". Setelah model diaktifkan, Anda dapat mulai menggunakannya. 🔳 Fitur utama fm command Anda dapat menggunakan "fm chat" untuk interaksi berbasis percakapan dan "fm respond" untuk menangani pertanyaan tunggal. Selain itu, fm juga mendukung ekstraksi teks dari gambar melalui OCR, pembacaan barcode, output terstruktur dalam format JSON, dan fungsi server API. 🔳 Integrasi eksternal melalui API kompatibel OpenAI Dengan "fm serve", Anda dapat menjalankan server API lokal. Melalui antarmuka yang kompatibel dengan OpenAI, fm dapat dipanggil dari alat eksternal seperti OpenCode, memungkinkan integrasi ke dalam agen AI atau sistem otomatisasi. 🔳 Integrasi dengan Python dan skrip shell Dengan menggabungkan SDK Python atau skrip shell, Anda dapat melakukan otomatisasi seperti terjemahan, OCR, dan pengelolaan file. Jika Anda menentukan format output menggunakan JSON schema, hasilnya akan lebih mudah diproses oleh program. 🔳 Kelemahan utama: batasan 8192 token Jendela konteks hanya 8192 token, yang tergolong kecil, sehingga kurang cocok untuk pemrosesan teks panjang atau pengkodean berskala besar. Video membandingkannya dengan GPT-3.5 Turbo sekitar tahun 2023 dan menilai bahwa batasan ini signifikan dibandingkan LLM modern saat ini. 🔳 Kedaluwarsa pengetahuan dan halusinasi Pengujian dalam video menunjukkan bahwa pengetahuan model berhenti sekitar Oktober 2024. Model tidak dapat mencari informasi terbaru secara mandiri, sehingga berpotensi menghasilkan kesalahan fakta atau halusinasi. Namun, dalam beberapa pertanyaan, model mampu memberikan jawaban yang tepat, misalnya menyangkal fiksi fiktif secara akurat. 🔳 Verifikasi pengkodean melalui integrasi dengan OpenCode Dengan mengatur fm sebagai sub-agent OpenCode, aplikasi ToDo HTML berhasil dibuat. Dalam waktu sekitar 20 menit, fitur dasar penambahan dan penghapusan berhasil diimplementasikan, meskipun antarmuka tetap sederhana dan masih ada masalah dengan input bahasa Jepang. 🔳 Potensi pemanfaatan sebagai sub-agent Karena batasan konteks yang ketat, fm lebih realistis digunakan sebagai sub-agent yang menangani tugas terbatas seperti terjemahan, ekstraksi teks, atau generasi kode sederhana, bukan sebagai AI utama. ListItemIcon Diharapkan dapat digunakan untuk pemrosesan otomatis data dalam jumlah besar, seperti mengolah ratusan hingga ribuan gambar melalui OCR atau menerjemahkan teks panjang dengan pembagian bagian. Karena tidak ada biaya tambahan berdasarkan jumlah pemrosesan, integrasi dengan program untuk pemrosesan berulang memiliki keunggulan signifikan. ListItemIcon Evaluasi komprehensif saat ini Masih terlalu dini untuk mengharapkan kinerja setara dengan LLM cloud terkini, tetapi fitur gratis dan offline tetap bernilai tinggi. Bagi pengembang yang ingin mencoba otomatisasi skala kecil atau eksperimen agen AI, fm merupakan pilihan yang menarik.