Aujourd'hui, je ne teste pas la discussion, je fais directement travailler le modèle local. Après avoir fait fonctionner Ling-3.0 Tiny localement, j'ai toujours pensé que discuter simplement n'était pas très intéressant. Ce qui mérite vraiment d'être testé, c'est : peut-il s'intégrer à un flux de travail réel ? Cette fois-ci, je n'ai pas redéployé le modèle, mais j'ai directement utilisé l'API locale de llama.cpp pour créer un « outil d'organisation de texte par IA » le plus simple possible. Mon environnement est Windows + llama.cpp + Ling-3.0 Tiny, et le modèle fournit déjà une API via 127.0.0.1:8080. Étape 1 : Vérifiez d'abord que le modèle est bien démarré : http://127.0.0.1:8080/v1/models Si vous voyez les informations du modèle, cela signifie que l'API fonctionne correctement. Ensuite, créez un fichier ai_test.py et collez-y directement le code suivant : import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Aujourd'hui, la réunion a principalement porté sur le lancement du nouveau produit. L'interface utilisateur est presque terminée, mais il reste deux bugs dans le module de paiement. Le product manager souhaite que les tests soient terminés avant vendredi. L'équipe backend doit recontrôler l'interface d'état des commandes. En outre, le texte promotionnel n'est pas encore finalisé ; le designer doit modifier la page d'accueil en fonction du texte final. """ prompt = f""" Vous êtes un assistant d'organisation des informations de travail. Veuillez organiser les notes de travail suivantes en : 1. Un résumé en une phrase 2. Principaux problèmes 3. Tâches à accomplir 4. Échéances 5. Actions nécessitant la collaboration d'autres personnes Exigences : - Ne pas inventer d'informations non présentes dans le texte original - Si une information est incertaine, écrivez « non précisée » - Utiliser le chinois - Produire une sortie claire, mais sans être excessivement complexe Contenu original : {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Échec de la requête :", response.status_code) print(response.text) Installez ensuite requests pour Python : pip install requests Enfin, exécutez : python ai_test.py À ce stade, le modèle ne « converse » plus avec vous — il traite réellement un document de travail. J'ai ensuite remplacé le contenu de test par un texte encore plus désordonné : Ce projet est récemment devenu un peu chaotique : la page d'accueil est presque prête, mais la connexion affiche parfois des erreurs ; Xiao Wang a dit hier qu'il avait corrigé le problème, le paiement n'est pas encore entièrement testé, il faudrait avoir un résultat d'ici jeudi, les visuels promotionnels sont encore en cours de modification ; le patron a dit que le lancement devait impérativement avoir lieu avant la fin du mois, mais la date exacte n'est pas encore fixée. Ce type de test est bien plus pertinent que de demander au modèle « Qui êtes-vous ? » Car j'ai intentionnellement intégré : des tâches déjà accomplies, des tâches non terminées, des délais flous, des responsabilités différentes et des échéances non précisées. Ce qu'il faut observer, c'est si le modèle arrive à distinguer les faits des hypothèses. S'il identifie correctement « lancement avant la fin du mois » comme une exigence d'échéance, sans transformer « il faudrait un résultat d'ici jeudi » en une date formelle, ce petit test aura déjà sa valeur. La prochaine étape ne nécessite même pas de modifier le modèle — il suffit de remplacer text par : des comptes rendus de réunions, des conversations avec le service client, des messages de groupe de travail, des besoins de projet, vos propres notes. Un petit modèle local de quelques dizaines de Mo peut déjà entrer dans un véritable flux de travail. C'est là, à mon avis, que l'IA locale devient vraiment intéressante. Il ne s'agit pas de la transformer en « ChatGPT local », mais bien d'en faire un petit outil d'IA intégré à votre ordinateur, qui ne télécharge jamais votre contenu original et peut être appelé directement par des programmes. Et ce système peut encore être amélioré : lire des fichiers TXT, traiter en lot des dizaines de fichiers, s'intégrer à un site web, voire créer une interface bureau simple. Cela va bien au-delà du simple test de savoir si le modèle sait discuter — c'est ce qui correspond le plus à ma compréhension de ce que signifie « faire réellement déployer l'IA locale ».