Hoy no voy a probar el chat, voy a hacer que el modelo local trabaje directamente. Después de ejecutar Ling-3.0 Tiny localmente, siempre pensé que simplemente chatear no tenía mucho sentido. Lo realmente valioso para probar es: ¿puede integrarse en un flujo de trabajo real? Por eso, en esta ocasión no volví a desplegar el modelo, sino que utilicé directamente la API local de llama.cpp para crear un "organizador de texto AI" muy simple. Mi entorno es Windows + llama.cpp + Ling-3.0 Tiny, y el modelo ya proporciona la API a través de 127.0.0.1:8080. Primero, verifiquemos que el modelo ya esté activo: http://127.0.0.1:8080/v1/models Si puedes ver la información del modelo, significa que la API funciona correctamente. Luego, crea un archivo ai_test.py y pega directamente el siguiente código: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Hoy en la reunión se discutió principalmente el lanzamiento del nuevo producto. Actualmente, la interfaz de usuario ya está casi terminada, pero hay dos errores en el módulo de pago. El product manager desea completar las pruebas antes del viernes. El backend necesita volver a revisar la interfaz de estado del pedido. Además, el texto promocional aún no está definitivamente confirmado; el diseñador necesita modificar la página de inicio según el texto final. """ prompt = f""" Eres un asistente para organizar información laboral. Por favor, organiza el siguiente registro laboral desordenado en: 1. Resumen en una frase 2. Problemas principales 3. Tareas pendientes 4. Fechas límite 5. Aspectos que requieren colaboración de otras personas Requisitos: - No inventes información que no esté en el texto original - Si la información es incierta, escribe "no especificado" - Usa chino - Presenta la salida claramente, pero sin complicarla innecesariamente Contenido original: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Solicitud fallida:", response.status_code) print(response.text) Luego instala requests para Python: pip install requests Finalmente ejecuta: python ai_test.py En este momento, el modelo ya no está "acompañándote en una conversación", sino que está procesando realmente un registro laboral. Cambié el contenido de prueba por otro aún más desordenado: Este proyecto ha estado un poco caótico recientemente, la página de inicio está casi lista, pero el inicio de sesión a veces muestra errores; ayer Xiao Wang dijo que ya los arregló, el pago aún no se ha probado completamente, sería ideal tener un resultado para el jueves, el diseño de los materiales promocionales todavía está en revisión, el jefe dijo que debe lanzarse antes del final del mes, aún no se ha definido exactamente qué día. Esta prueba es mucho más significativa que pedirle al modelo "¿Quién eres?". Porque aquí intencionalmente se mezclan: tareas completadas, tareas pendientes, fechas ambiguas, responsabilidades asignadas a diferentes personas y sin fechas límite claras. Lo verdaderamente importante es observar si el modelo puede distinguir entre hechos y suposiciones. Si identifica correctamente "lanzamiento antes del final del mes" como una exigencia de plazo, sin transformar arbitrariamente "sería ideal tener un resultado para el jueves" en una fecha límite formal, esta pequeña prueba ya tendrá valor. El siguiente paso ni siquiera requiere modificar el modelo: solo reemplaza el texto por: actas de reunión, registros de chat con soporte, mensajes de grupos laborales, requerimientos de proyecto, tus propias notas. Un pequeño modelo local de decenas de MB ya puede comenzar a integrarse en flujos de trabajo reales. Creo que lo más interesante del AI local está aquí: no se trata de convertirlo en una "versión local de ChatGPT", sino en una herramienta AI pequeña, accesible directamente por programas y que no sube contenido original a internet. Además, este sistema se puede seguir mejorando: leer archivos TXT, procesar decenas de archivos en lote, integrarse con páginas web o incluso crear una interfaz de escritorio simple. Esto está mucho más cerca de lo que yo entiendo como "la verdadera implementación del AI local" que simplemente probar si el modelo sabe chatear.