Hôm nay không thử trò chuyện, tôi trực tiếp để mô hình cục bộ làm việc. Sau khi chạy Ling-3.0 Tiny trên máy cục bộ, tôi luôn cảm thấy việc chỉ trò chuyện thực ra không có gì thú vị. Điều đáng thử nghiệm thực sự là: liệu nó có thể tích hợp vào một quy trình làm việc thực tế không? Vì vậy, lần này tôi không triển khai lại mô hình, mà trực tiếp sử dụng API cục bộ của llama.cpp để tạo một “bộ sắp xếp văn bản AI” đơn giản nhất. Môi trường của tôi là Windows + llama.cpp + Ling-3.0 Tiny, mô hình đã cung cấp API qua 127.0.0.1:8080. Bước đầu tiên, xác nhận mô hình đã khởi động: http://127.0.0.1:8080/v1/models Nếu thấy thông tin mô hình, chứng tỏ API đang hoạt động bình thường. Sau đó tạo một file ai_test.py, dán đoạn mã sau vào: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Hôm nay cuộc họp chủ yếu thảo luận về vấn đề ra mắt sản phẩm mới. Hiện tại giao diện người dùng đã cơ bản hoàn thành, nhưng module thanh toán còn hai lỗi. Sản phẩm mong muốn hoàn thành kiểm thử trước thứ Sáu. Backend cần kiểm tra lại giao diện trạng thái đơn hàng. Ngoài ra, nội dung quảng cáo vẫn chưa được xác nhận cuối cùng, nhà thiết kế cần điều chỉnh trang chủ theo nội dung cuối cùng. """ prompt = f""" Bạn là trợ lý tổng hợp thông tin công việc. Hãy tổng hợp đoạn ghi chú công việc hỗn loạn dưới đây thành: 1. Tóm tắt một câu 2. Các vấn đề chính 3. Các công việc cần làm 4. Thời hạn 5. Những việc cần người khác phối hợp Yêu cầu: - Không tự sáng tạo thông tin không có trong văn bản gốc - Nếu thông tin không rõ ràng, ghi “chưa xác định” - Sử dụng tiếng Trung - Trình bày rõ ràng, nhưng không quá phức tạp Nội dung gốc: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Yêu cầu thất bại:", response.status_code) print(response.text) Sau đó cài đặt requests cho Python: pip install requests Cuối cùng chạy: python ai_test.py Lúc này mô hình không còn là “người陪你 trò chuyện”, mà đang thực sự xử lý một bản ghi công việc. Tôi lại thay nội dung kiểm tra bằng một đoạn văn bản hỗn loạn hơn: Dự án gần đây hơi lộn xộn, trang chủ gần xong, nhưng đăng nhập thỉnh thoảng báo lỗi, hôm qua Tiểu Vương nói đã sửa rồi, thanh toán vẫn chưa kiểm tra hoàn toàn, tốt nhất thứ Năm phải có kết quả, thiết kế hình ảnh quảng cáo vẫn đang chỉnh sửa, sếp nói phải上线 trước cuối tháng, nhưng cụ thể là ngày nào thì hiện vẫn chưa xác định. Kiểm tra như thế này thực sự có ý nghĩa hơn nhiều so với việc yêu cầu mô hình trả lời “Bạn là ai?”. Vì trong đây cố tình lồng ghép: những việc đã hoàn thành, những việc chưa hoàn thành, thời gian mơ hồ, nhiệm vụ của nhiều người khác nhau, và thông tin không có thời hạn rõ ràng. Điều thực sự cần quan sát là mô hình có thể phân biệt được sự thật và suy luận không. Nếu nó nhận diện đúng “phải上线 trước cuối tháng” là yêu cầu thời hạn, đồng thời không tự ý biến “tốt nhất thứ Năm phải có kết quả” thành thời hạn chính thức, thì bài kiểm tra nhỏ này đã có giá trị. Bước tiếp theo thậm chí không cần thay đổi mô hình, chỉ cần thay text bằng: bản ghi cuộc họp, lịch sử trò chuyện của bộ phận chăm sóc khách hàng, tin nhắn nhóm công việc, yêu cầu dự án, ghi chú cá nhân. Một mô hình nhỏ cục bộ vài chục MB cũng có thể bắt đầu tham gia vào quy trình làm việc thực tế. Tôi cho rằng điểm thú vị nhất của AI cục bộ nằm ở đây. Không nhất thiết phải biến nó thành “ChatGPT phiên bản cục bộ”, mà biến nó thành một công cụ AI nhỏ, không tải lên nội dung gốc ra ngoài, có thể được chương trình gọi trực tiếp. Hơn nữa, hệ thống này sau này còn có thể tiếp tục cải tiến: đọc file TXT, xử lý hàng chục file cùng lúc, tích hợp vào trang web, thậm chí tạo giao diện desktop đơn giản. Điều này gần với khái niệm “AI cục bộ thực sự được ứng dụng” hơn là chỉ thử nghiệm xem mô hình có biết trò chuyện hay không.