Trên macOS 27, LLM được tích hợp sẵn không thường được nhắc đến trong các bài viết, nên tôi đã chọn đề cập đến nó: https://t.co/7m33xszKVb AI tích hợp sẵn trên Mac có thể dùng được trong công việc không? Đánh giá “fm” của Apple từ góc nhìn kỹ sư 【macOS 27/fm command/local LLM】 AI Lab của Ushigi Hacker bởi CodeRabbit #AI_TómTắt Sức mạnh và cách sử dụng “fm command” – LLM cục bộ tích hợp trên macOS 27 🔳 Apple tích hợp LLM cục bộ vào hệ thống Trong video, giới thiệu rằng macOS 27 đã tích hợp “fm command” – công cụ cho phép sử dụng LLM do Apple phát triển. Đây là cơ chế đáng chú ý vì cho phép chạy AI trên Mac có chip Apple Silicon mà không cần phụ thuộc vào đám mây. 🔳 Hoạt động ngoại tuyến, miễn phí, không giới hạn số lần sử dụng fm command hoạt động mà không cần kết nối internet và không phát sinh chi phí bổ sung dù sử dụng bao nhiêu lần. Do xử lý dữ liệu mà không gửi ra ngoài, nó mang lại lợi ích về bảo vệ quyền riêng tư. 🔳 Điều kiện sử dụng và thiết lập ban đầu Video nêu rõ yêu cầu chip Apple M3 trở lên và ít nhất 12GB RAM. Đầu tiên, cần đồng ý với điều khoản sử dụng bằng lệnh “fm license”, sau đó kiểm tra trạng thái khả dụng của mô hình bằng “fm available”. Khi mô hình được kích hoạt, bạn có thể bắt đầu sử dụng. 🔳 Các chức năng chính của fm command “fm chat” cho phép tương tác với AI, “fm respond” xử lý câu hỏi đơn lẻ. Ngoài ra, nó còn hỗ trợ trích xuất văn bản từ hình ảnh qua OCR, đọc mã vạch, đầu ra cấu trúc ở định dạng JSON và chức năng máy chủ API. 🔳 Tích hợp bên ngoài thông qua API tương thích OpenAI “fm serve” có thể khởi động máy chủ API cục bộ. Thông qua giao diện tương thích OpenAI, bạn có thể gọi fm từ các công cụ bên ngoài như OpenCode, tích hợp nó vào các tác nhân AI hoặc hệ thống tự động hóa. 🔳 Tích hợp với Python và script shell Kết hợp với Python SDK hoặc script shell, bạn có thể tự động hóa các tác vụ như dịch thuật, OCR, sắp xếp tệp tin. Nếu chỉ định định dạng đầu ra qua JSON schema, việc xử lý kết quả trong chương trình sẽ dễ dàng hơn. 🔳 Điểm yếu lớn nhất: giới hạn 8192 token Cửa sổ ngữ cảnh chỉ 8192 token – khá nhỏ, không phù hợp xử lý văn bản dài hoặc mã hóa quy mô lớn. Video so sánh với GPT-3.5 Turbo khoảng năm 2023 và đánh giá rằng so với các LLM hiệu năng cao hiện nay, giới hạn này khá nghiêm trọng. 🔳 Kiến thức lỗi thời và ảo giác Trong các thử nghiệm trong video, mô hình được chỉ ra là có kiến thức dừng lại vào khoảng tháng 10/2024. Nó không tự chủ tìm kiếm thông tin mới nhất và có nguy cơ sai lệch sự thật hoặc tạo ra ảo giác. Tuy nhiên, một số câu hỏi vẫn nhận được câu trả lời chính xác, ví dụ như phủ nhận chính xác một tiểu thuyết hư cấu. 🔳 Kiểm nghiệm khả năng lập trình với OpenCode Thiết lập fm như một sub-agent của OpenCode để tạo ứng dụng ToDo HTML. Sau khoảng 20 phút, đã triển khai được các chức năng cơ bản như thêm/xóa, nhưng giao diện đơn giản và vẫn còn vấn đề với nhập liệu tiếng Nhật. 🔳 Tiềm năng sử dụng như sub-agent Do giới hạn ngữ cảnh nghiêm ngặt, fm phù hợp hơn khi được dùng như một sub-agent xử lý các tác vụ giới hạn như dịch thuật, trích xuất văn bản, tạo mã đơn giản – thay vì làm AI chính. 🔳 Kỳ vọng trong xử lý dữ liệu quy mô lớn Có thể ứng dụng để xử lý hàng trăm đến hàng ngàn hình ảnh qua OCR, hoặc chia nhỏ văn bản dài để dịch thuật. Vì không tính phí theo số lần xử lý, việc kết hợp với chương trình để thực hiện xử lý lặp lại mang lại lợi thế rõ rệt. 🔳 Đánh giá tổng thể hiện tại Chưa nên kỳ vọng fm đạt hiệu năng ngang bằng các LLM đám mây mới nhất, nhưng tính năng miễn phí và ngoại tuyến mang lại giá trị riêng. Đối với các nhà phát triển muốn thử nghiệm tự động hóa quy mô nhỏ hoặc tác nhân AI, đây là một lựa chọn đáng quan tâm.