Hari ini tidak uji obrolan, saya langsung meminta model lokal untuk bekerja. Setelah menjalankan Ling-3.0 Tiny secara lokal, saya selalu merasa bahwa hanya berbincang-bincang sebenarnya tidak terlalu menarik. Yang benar-benar layak diuji adalah: apakah model ini bisa terintegrasi ke dalam alur kerja nyata. Jadi, kali ini saya tidak mendeploy ulang model, melainkan langsung memanfaatkan API lokal llama.cpp untuk membuat "penguat teks AI" paling sederhana. Lingkungan saya adalah Windows + llama.cpp + Ling-3.0 Tiny, dan model sudah menyediakan API melalui 127.0.0.1:8080. Langkah pertama, pastikan model sudah menyala: http://127.0.0.1:8080/v1/models Jika Anda bisa melihat informasi model, berarti API berjalan normal. Kemudian buat file baru ai_test.py, dan tempelkan kode berikut langsung: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Hari ini rapat terutama membahas masalah peluncuran produk baru. UI saat ini sudah hampir selesai, tetapi modul pembayaran masih memiliki dua bug. Produk manager menginginkan pengujian selesai sebelum Jumat. Backend perlu memeriksa ulang antarmuka status pesanan. Selain itu, teks promosi belum ditentukan secara final, desainer perlu memperbarui halaman utama sesuai teks akhir. """ prompt = f""" Anda sekarang adalah asisten pengatur informasi kerja. Silakan atur catatan kerja yang kacau di bawah ini menjadi: 1. Ringkasan satu kalimat 2. Masalah utama 3. Tugas yang harus dilakukan 4. Batas waktu 5. Hal yang memerlukan bantuan orang lain Persyaratan: - Jangan membuat informasi yang tidak ada dalam teks asli - Jika informasi tidak pasti, tulis "tidak jelas" - Gunakan bahasa Mandarin - Keluarkan hasil yang jelas, tetapi jangan terlalu rumit Konten asli: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Permintaan gagal:", response.status_code) print(response.text) Kemudian instal requests untuk Python: pip install requests Terakhir jalankan: python ai_test.py Saat ini model tidak lagi "menemani obrolan", tetapi benar-benar memproses catatan kerja. Saya mengganti konten uji dengan teks yang lebih kacau: Proyek ini akhir-akhir ini agak berantakan, halaman utama hampir selesai, tetapi login kadang-kadang error, kemarin Xiao Wang mengatakan sudah diperbaiki, pembayaran belum sepenuhnya diuji, sebaiknya hasilnya tersedia pada hari Kamis, desain gambar promosi masih dalam perbaikan, bos mengatakan harus diluncurkan sebelum akhir bulan, tetapi tanggal pastinya belum ditentukan. Uji coba semacam ini jauh lebih bermakna daripada meminta model menjawab "Siapa kamu?" Karena di sini sengaja dimasukkan: Hal yang sudah selesai, hal yang belum selesai, waktu yang samar, tugas dari berbagai orang, dan informasi tanpa batas waktu yang jelas. Yang perlu diamati adalah apakah model bisa membedakan fakta dan dugaan. Jika ia secara benar mengenali "harus diluncurkan sebelum akhir bulan" sebagai batas waktu, tanpa mengubah "sebaiknya hasilnya tersedia pada hari Kamis" menjadi batas waktu resmi, maka uji coba kecil ini sudah bernilai. Langkah selanjutnya bahkan tidak perlu mengubah model—cukup ganti text menjadi: Catatan rapat, obrolan layanan pelanggan, pesan grup kerja, kebutuhan proyek, catatan pribadi. Model kecil lokal berukuran puluhan MB pun sudah bisa mulai terintegrasi ke dalam alur kerja nyata. Menurut saya, hal paling menarik dari AI lokal adalah di sini. Bukan harus menjadikannya "ChatGPT versi lokal", tetapi menjadikannya alat AI kecil yang tidak mengunggah konten asli ke luar, dan dapat dipanggil langsung oleh program. Selain itu, sistem ini nantinya masih bisa dikembangkan lebih lanjut: membaca file TXT, memproses puluhan file sekaligus, terintegrasi dengan web, bahkan membuat antarmuka desktop sederhana. Ini jauh lebih mendekati pemahaman saya tentang "penerapan nyata AI lokal" dibandingkan hanya menguji apakah model bisa berbincang-bincang.