Hari ini tidak uji perbualan, saya teruskan model tempatan untuk bekerja. Selepas menjalankan Ling-3.0 Tiny secara tempatan, saya selalu rasa perbualan semata-mata tidak begitu menarik. Yang benar-benar patut diuji ialah: adakah ia boleh disambungkan ke dalam alur kerja sebenar? Oleh itu, kali ini saya tidak menyiapkan semula model, tetapi terus menggunakan API tempatan llama.cpp untuk mencipta "Pengurus Penyusunan Teks AI" yang paling mudah. Persekitaran saya ialah Windows + llama.cpp + Ling-3.0 Tiny, dan model sudah menyediakan API melalui 127.0.0.1:8080. Langkah pertama, pastikan model sudah dimulakan: http://127.0.0.1:8080/v1/models Jika anda dapat melihat maklumat model, bermakna API berfungsi dengan baik. Kemudian, buat fail baru ai_test.py dan salin kod berikut ke dalamnya: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Hari ini mesyuarat membincangkan isu pelancaran produk baharu. Sekarang UI hampir selesai, tetapi modul pembayaran masih mempunyai dua ralat. Produk manager ingin selesai ujian sebelum Jumaat. Backend perlu semak semula antaramuka status pesanan. Selain itu, teks promosi belum ditentukan sepenuhnya, juru reka perlu mengubah laman utama mengikut teks akhir. """ prompt = f""" Anda sekarang adalah pembantu penyusunan maklumat kerja. Sila susun rekod kerja yang tidak teratur di bawah kepada: 1. Ringkasan satu ayat 2. Masalah utama 3. Tindakan yang perlu diambil 4. Tarikh akhir 5. Perkara yang memerlukan kerjasama orang lain Syarat: - Jangan mencipta maklumat yang tidak ada dalam teks asal - Jika maklumat tidak pasti, tulis "tidak jelas" - Gunakan bahasa Cina - Hasilkan output yang jelas, tetapi jangan terlalu kompleks Kandungan asal: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Permintaan gagal:", response.status_code) print(response.text) Kemudian pasang requests untuk Python: pip install requests Akhir sekali, jalankan: python ai_test.py Pada masa ini, model bukan lagi "menemani anda berbual", tetapi benar-benar memproses rekod kerja. Saya menukar kandungan ujian kepada teks yang lebih kacau lagi: Projek ini akhir-akhir ini agak kacau, laman utama hampir selesai, tetapi log masuk kadang-kadang menunjukkan ralat, semalam Xiao Wang berkata dia telah membaikinya, pembayaran belum sepenuhnya diuji, sebaiknya ada hasil pada hari Khamis, reka bentuk gambar promosi masih dalam proses perubahan, bos berkata ia mesti dilancarkan sebelum akhir bulan, tetapi tarikh tepatnya masih belum ditentukan. Ujian sebegini sebenarnya jauh lebih bermakna daripada meminta model menjawab "Siapakah anda?" Kerana di sini sengaja dimasukkan: perkara yang telah selesai, perkara yang belum selesai, masa yang kabur, tugas orang yang berbeza, dan maklumat tanpa tarikh akhir yang jelas. Yang perlu diperhatikan ialah sama ada model mampu membezakan fakta dan spekulasi. Jika ia mengenal pasti "dilancarkan sebelum akhir bulan" sebagai keperluan tarikh akhir, tanpa mengubah "sebaiknya ada hasil pada hari Khamis" menjadi tarikh akhir rasmi, maka ujian kecil ini bernilai. Langkah seterusnya bahkan tidak perlu mengubah model—hanya perlu menukar text kepada: rekod mesyuarat, catatan perbualan pelanggan, mesej kumpulan kerja, keperluan projek, atau nota peribadi anda. Model kecil tempatan berukuran puluhan MB juga boleh mula memasuki alur kerja sebenar. Menurut saya, perkara paling menarik tentang AI tempatan ialah di sini. Ia bukan tentang menjadikannya sebagai "ChatGPT tempatan", tetapi menjadikannya sebagai alat AI kecil yang tidak menghantar kandungan asal ke luar dan boleh dipanggil secara langsung oleh program. Selain itu, sistem ini boleh dikembangkan lagi: membaca fail TXT, memproses berpuluh-puluh fail secara berperingkat, menyambung ke laman web, atau bahkan menjadikannya antaramuka desktop ringkas. Ini lebih mendekati apa yang saya fahami sebagai "pelaksanaan sebenar AI tempatan", berbanding hanya menguji sama ada model boleh berbual atau tidak.