Bugün sohbet testi yapmayacağım, doğrudan yerel modeli çalıştıracağım. Ling-3.0 Tiny'yi yerel olarak çalıştırdıktan sonra, sadece sohbet etmenin aslında pek bir anlam ifade etmediğini düşündüm. Gerçekten test edilmesi gereken şey, bunun bir gerçek iş akışına entegre olup olamayacağıydı. Bu nedenle bu sefer modeli yeniden dağıtmadım, doğrudan llama.cpp'in yerel API'sini kullanarak en basit "AI Metin Düzenleyici"yi oluşturdum. Ortamım: Windows + llama.cpp + Ling-3.0 Tiny; model zaten 127.0.0.1:8080 üzerinden API sunuyor. İlk adım olarak, modelin başlatıldığını doğrulayın: http://127.0.0.1:8080/v1/models Model bilgilerini görebiliyorsanız, API'nin düzgün çalıştığını anlamına gelir. Sonra bir ai_test.py dosyası oluşturun ve aşağıdaki kodu doğrudan içine yapıştırın: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Bugün toplantıda yeni ürünün piyasaya sürülmesi konusu tartışıldı. Şu anda UI neredeyse tamamlandı, ancak ödeme modülünde iki hata var. Ürün yöneticisi, testlerin Cuma gününe kadar tamamlanmasını istiyor. Arka uç, sipariş durumu arayüzünü yeniden kontrol etmelidir. Ayrıca tanıtım metni henüz kesinleşmedi, tasarımcının ana sayfayı son metne göre güncellemesi gerekiyor. """ prompt = f""" Şimdi bir iş bilgisi düzenleme asistanısınız. Aşağıdaki karışık iş kaydını şu şekilde düzenleyin: 1. Bir cümlelik özet 2. Ana sorunlar 3. Yapılacaklar listesi 4. Son teslim tarihi 5. Başkalarının destek gerektirdiği konular Gereksinimler: - Metinde olmayan bilgiler eklemeyin - Bilgi belirsizse "belirsiz" yazın - Türkçe kullanın - Net ve anlaşılır olun, ancak aşırı karmaşık olmayın Orijinal içerik: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("İstek başarısız oldu:", response.status_code) print(response.text) Sonra Python'un requests kütüphanesini yükleyin: pip install requests Ve son olarak çalıştırın: python ai_test.py Bu anda model artık "benimle sohbet etmiyor", tamamen bir iş kaydını işliyor. Test içeriğini daha da karışık bir metne değiştirdim: Bu proje son zamanlarda biraz karışık, ana sayfa neredeyse bitti, ancak giriş bazen hata veriyor, dün Wang, bunun düzeltilmiş olduğunu söyledi, ödeme tamamen test edilmedi, Perşembe gününe kadar bir sonuç verilebilirse iyi olur, tanıtım görselleri hâlâ düzenleniyor, yönetici sonunda ay sonuna kadar piyasaya sürülmesini istiyor, tam olarak hangi gün olacağı henüz belirlenmedi. Bu tür bir test, modelden "sen kimsin?" sorusunu yanıtlamasını istemekten çok daha anlamlı. Çünkü burada kasıtlı olarak şunlar karıştırıldı: tamamlanan işler, tamamlanmayan işler, belirsiz zamanlar, farklı kişilerin görevleri ve kesin son teslim tarihi olmayan bilgiler. Gerçekten gözlemlememiz gereken şey, modelin gerçekleri varsayımlardan ayırt edip edemeyeceği. Eğer "ay sonuna kadar piyasaya sürülmesi" ifadesini doğru bir şekilde son teslim tarihi olarak tanımlar ve "Perşembe gününe kadar sonuç verilebilirse iyi olur" ifadesini resmi bir son teslim tarihi olarak değiştirmezse, bu küçük test değerlidir. Bir sonraki adım için modeli değiştirmek gerekmez; sadece text değişkenini şu şekilde değiştirmek yeterlidir: toplantı notları, müşteri hizmetleri sohbet kayıtları, iş grubu mesajları, proje ihtiyaçları, kendi notlarınız. Yalnızca birkaç on MB boyutunda bir yerel küçük model, artık gerçek iş akışlarına girebilir. Benim için yerel AI'nın en ilginç yanı burada: ChatGPT'nin yerel bir versiyonu haline getirmek değil, orijinal içeriği yüklemeyen ve programlar tarafından doğrudan çağrılabilen küçük bir AI aracına dönüştürmek. Ayrıca bu sistem daha sonra geliştirilebilir: TXT dosyalarını okumak, onlarca dosyayı toplu işlemek, web sitesine entegre etmek veya hatta basit bir masaüstü arayüzü haline getirmek. Bu, modelin sadece sohbet edip etmediğini test etmekten çok daha fazlası; benim anladığım "yerel AI'nın gerçek dünyada uygulanması" budur.