Hindi ko mababasa ang maraming artikulo tungkol sa LLM na isinama sa macOS 27, kaya sinubukan kong pag-usapan ito. https://t.co/7m33xszKVb Maaari bang gamitin ang AI na naka-install sa Mac sa trabaho? Ipinapakita ng isang engineer ang pagsusuri sa “fm” ng Apple [macOS 27/fm command/local LLM] AI Lab ni Usagi Hacker by CodeRabbit #AISummary Ang Kapasidad at Paggamit ng Lokal na LLM na “fm Command” na Isinama sa macOS 27 🔳 Isinama ng Apple ang lokal na LLM Sa video, ipinakilala ang “fm command” na isinama sa macOS 27 na nagpapahintulot sa paggamit ng lokal na LLM mula sa Apple. Ito ay nakatanggap ng pansin bilang isang mekanismo na nagpapagana ng AI sa mga Mac na may Apple Silicon nang hindi nakadepende sa cloud. 🔳 Offline, libre, walang limitasyon sa bilang Ang fm command ay gumagana nang walang koneksyon sa internet at walang dagdag bayarin kahit gaano karaming beses ito ay gamitin. Dahil hindi ito nagpapadala ng data sa labas, ito ay may kahalagahan din sa pagprotekta ng privacy. 🔳 Mga kondisyon at unang pag-setup Ipinaliwanag ng video na kailangan ng Apple M3 o higit pa at 12GB o higit pang memorya. Una, kailangan mong pagsang-ayunan ang mga tuntunin sa paggamit gamit ang “fm license”, at tingnan ang availability ng model gamit ang “fm available”. Kapag naka-activate na ang model, maaari mo nang simulan ang paggamit. 🔳 Mga pangunahing tampok ng fm command Maaari mong gamitin ang “fm chat” para sa interactive AI at “fm respond” para sa isang-time na tanong. Bukod dito, may kakayahan ito sa OCR para sa pagkuha ng teksto mula sa imahe, pagbasa ng barcode, structured output sa JSON format, at isang API server function. 🔳 Pagkonekta sa panlabas gamit ang OpenAI-compatible API Maaari mong i-start ang lokal na API server gamit ang “fm serve”. Sa pamamagitan ng OpenAI-compatible interface, maaari mong i-call ang fm mula sa panlabas na mga tool tulad ng OpenCode, at i-integrate ito sa AI agents o automation systems. 🔳 Pagkonekta sa Python at shell scripts Sa pamamagitan ng pagsasama sa Python SDK o shell scripts, maaari mong automatize ang mga gawain tulad ng pagsasalin, OCR, at file organization. Kung i-specify mo ang output format gamit ang JSON schema, mas madaling gamitin ang resulta sa mga programa. |maximum na kahinaan: 8192 token limit| Ang context window ay 8192 tokens lamang—maliit para sa mahabang teksto o malalaking coding tasks. Sa video, isinaulo ang GPT-3.5 Turbo mula noong 2023, at sinabi na mas limitado ito kumpara sa kasalukuyang mataas na performance na LLMs. │Kakulangan sa kaalaman at hallucinations│ Sa pagsusuri sa video, tinukoy na nagsasara na ang kaalaman ng model noong Oktubre 2024. Hindi ito makakapag-search nang自主 para sa pinakabagong impormasyon, at may posibilidad ng maling impormasyon o hallucinations. Gayunpaman, nakita rin na may tamang sagot ito sa ilang tanong, tulad ng tamang pagtanggol laban sa isang pangkalahatang kuwento. │Pagsusuri ng coding gamit ang OpenCode│ Ipinasok ang fm bilang sub-agent ng OpenCode upang lumikha ng HTML ToDo app. Nakuha nito ang pangunahing pagdaragdag at pag-alis ng mga function sa loob ng halos 20 minuto, ngunit ang UI ay simpleng-maliwanag, at may mga problema pa rin sa pag-input ng Japanese. │Potensyal bilang sub-agent│ Dahil sa malaking limitasyon sa context, mas realistiko na gamitin ang fm bilang sub-agent para sa limitadong gawain tulad ng pagsasalin, pagkuha ng teksto, o simpleng code generation, kaysa bilang pangunahing AI. │Pag-asa para sa awtomatikong proseso ng malaking data│ Inaasahan na gagamitin ito para sa pagproseso ng maraming imahe (mula sa ilang daan hanggang libo-libo) gamit ang OCR, o paghahati-hati at pagsasalin ng mahabang teksto. Dahil walang dagdag bayarin batay sa bilang ng pagproseso, may benepisyo ito kapag isinasama sa mga programa para sa paulit-ulit na gawain. │Kabuuang pagtataya sa kasalukuyan│ Hindi pa sapat ang performance nito upang ihambing sa mga pinakabagong cloud-based LLMs, ngunit may halaga ang mga katangian nito tulad ng libre at offline. Para sa mga developer na gustong subukan ang maliit na automation o AI agents, ito ay isang interesanteng opsyon.