source avatarReset

Compartilhar

Hoje não vou testar bate-papo; vou deixar o modelo local fazer o trabalho. Depois de executar o Ling-3.0 Tiny localmente, sempre achei que apenas conversar não tem muita graça. O que realmente vale a pena testar é: ele consegue se integrar a um fluxo de trabalho real? Então, desta vez, em vez de reimplantar o modelo, usei diretamente a API local do llama.cpp para criar um “organizador de texto AI” mais simples possível. Meu ambiente é Windows + llama.cpp + Ling-3.0 Tiny, e o modelo já está disponibilizando API por 127.0.0.1:8080. Primeiro passo: confirmar que o modelo está ativo: http://127.0.0.1:8080/v1/models Se conseguir ver as informações do modelo, significa que a API está funcionando. Depois, crie um arquivo ai_test.py e cole o código abaixo diretamente nele: import requests API_URL = "http://127.0.0.1:8080/v1/chat/completions" text = """ Hoje na reunião discutimos principalmente o lançamento do novo produto. Atualmente, a interface já está quase pronta, mas há dois bugs no módulo de pagamento. O gerente de produto deseja que os testes sejam concluídos até sexta-feira. A equipe de backend precisa revisar novamente a interface de status do pedido. Além disso, o texto promocional ainda não foi finalizado; o designer precisa ajustar a página inicial conforme o texto final. """ prompt = f""" Você é um assistente de organização de informações de trabalho. Por favor, organize o seguinte registro de trabalho caótico em: 1. Um resumo em uma frase 2. Principais problemas 3. Tarefas pendentes 4. Prazos 5. Coisas que precisam da colaboração de outras pessoas Requisitos: - Não invente informações que não estejam no texto original - Se a informação for incerta, escreva “não especificado” - Use chinês - Saída clara, mas sem complexidade excessiva Conteúdo original: {text} """ data = { "model": "local-model", "messages": [ { "role": "user", "content": prompt } ], "temperature": 0.2, "max_tokens": 1000 } response = https://t.co/c0rpBhsLaU(API_URL, json=data) if response.status_code == 200: result = response.json() print(result["choices"][0]["message"]["content"]) else: print("Falha na requisição:", response.status_code) print(response.text) Instale então o requests para Python: pip install requests Por fim, execute: python ai_test.py Nesse momento, o modelo não está mais “me acompanhando em conversa”, mas sim processando verdadeiramente um registro de trabalho. Troquei o conteúdo de teste por um texto ainda mais confuso: Este projeto tem estado um pouco caótico recentemente; a página inicial está quase pronta, mas o login às vezes gera erros; ontem Xiao Wang disse que já corrigiu, o pagamento ainda não foi totalmente testado, seria ideal ter um resultado até quinta-feira, o design das imagens promocionais ainda está sendo ajustado, o chefe disse que o lançamento precisa acontecer até o fim do mês, mas ainda não foi definido exatamente em que dia. Esse tipo de teste é muito mais significativo do que pedir ao modelo “quem você é”. Porque nele intencionalmente incluí: tarefas já concluídas, tarefas não concluídas, prazos vagos, responsabilidades de diferentes pessoas e informações sem prazos definidos. O que realmente importa observar é se o modelo consegue distinguir fatos de suposições. Se ele corretamente identificar “lançamento até o fim do mês” como um requisito de prazo, sem transformar automaticamente “seria ideal ter um resultado até quinta-feira” em um prazo oficial, esse pequeno teste já terá valor. O próximo passo nem precisa alterar o modelo — basta substituir o texto por: gravações de reuniões, registros de chat com suporte, mensagens de grupos de trabalho, requisitos de projeto, anotações pessoais. Um pequeno modelo local de apenas dezenas de MB já pode começar a integrar-se a fluxos de trabalho reais. Acho que o mais interessante sobre IA local está justamente aqui. Não se trata de transformá-lo em um “ChatGPT local”, mas sim em uma pequena ferramenta de IA dentro do computador — que não envia conteúdo original para fora e pode ser chamada diretamente por programas. Além disso, esse sistema pode ser aprimorado ainda mais: ler arquivos TXT, processar em lote dezenas de arquivos, integrar-se a páginas web ou até criar uma interface desktop simples. Isso está muito mais próximo do que entendo como “IA local realmente implementada” do que simplesmente testar se o modelo sabe conversar.

Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.