Riscos de perda de controle da autoevolução da IA e da convivência humano-máquina.

Autor e fonte do artigo: Zinc Industry

Riscos de perda de controle da autoevolução da IA e da convivência humano-máquina.

Cerca de uma semana atrás, a Anthropic, que estava se preparando para listar, atualizou um artigo em seu blog oficial com o título “When AI build itself”.

No dia da publicação deste artigo, as questões de segurança da IA foram novamente trazidas de volta ao centro do debate público.

A Anthropic discute neste artigo um problema chamado "autoevolução de IA" e aponta que "a IA já consegue participar na construção de modelos mais poderosos para si mesma, muito mais rápido do que imaginávamos."

Por falar nisso, a autoevolução da IA não é uma tecnologia nova; pode-se dizer que, desde o primeiro dia em que a tecnologia de IA surgiu, as pessoas já estavam pensando em como permitir que a IA participe do processo de autoevolução.

Assim como se imagina atualmente no campo da inteligência embodiada: criar robôs humanoides com robôs humanoides.

Na verdade, os cientistas de IA, enquanto temem que a IA adquira capacidade de autoevolução, também pesquisam e até aproveitam essa capacidade de autoevolução.

Tian Yuandong, anteriormente diretor de pesquisa da equipe Meta FAIR e amplamente destacado durante as demissões na Meta, anunciou oficialmente sua empreitada empresarial no início deste ano; o nome de sua startup é Recursive Superintelligence (RSI), com o objetivo direto de alcançar a autoevolução da IA.

É exatamente essa empresa que recentemente concluiu um financiamento de US$ 6,5 bilhões, com uma avaliação de US$ 46,5 bilhões (aproximadamente R$ 31,5 bilhões), tornando-se mais um dos destaques da inteligência artificial da Silicon Valley cobiçados por grandes empresas.

Então, o que exatamente é autoevolução de IA? A autoevolução pode levar à perda de controle da IA? Como os humanos devem conviver com a IA?

A autoevolução da IA que está ocorrendo agora também foi um dos principais temas da Conferência Zhiyuan deste ano. Na Conferência Zhiyuan deste ano, observamos as reflexões e previsões de quatro jovens cientistas da IA sobre esse tema.

Talvez, da perspectiva deles, possamos vislumbrar o futuro autoevolutivo da IA e encontrar alguma inspiração para lidar com a ansiedade causada pela IA.

Os cientistas de IA convidados para discutir este problema nesta edição do Congresso Zhiyuan são:

Lin Tao, pesquisador convidado do Departamento de Inteligência Artificial da Escola de Engenharia da Universidade do Lago Oeste;

Gu Yu, cofundador da NeoCognition;

Wang Yan, ex-pesquisador sênior do Tencent Hunyuan Frontier;

Dra. Yang Mengyue, doutora pela University College London e professora assistente na Universidade de Bristol.

A seguir, o conteúdo do diálogo dos quatro convidados, resumido e organizado sem alterar o sentido original:

01 O que é autoevolução de IA?

Pergunta: Muitos sistemas de IA hoje em dia refletem e ajustam prompts, parecendo ter um certo tom de autoaperfeiçoamento. Se for definido de forma mais rigorosa, o que é autoevolução de IA?

Lin Tao: Acho que a autoevolução deve ser uma evolução multicamada, podendo ser uma evolução do cérebro externo ou do cérebro interno.

Acima de tudo, a IA deve ser capaz de reconhecer suas próprias limitações e, ao mesmo tempo, evoluir seu cérebro externo e interno, ou, ao evoluir o cérebro externo, internalizar mais capacidades externas para promover ainda mais a evolução do cérebro interno.

Guyu: Acho que o mais importante no RSI (recursive self improvement, autoevolução recursiva) são duas dimensões: proatividade e aprendizado.

Como o Learning permite que a IA possua algoritmos confiáveis de aprendizado contínuo e em tempo real? Outra questão é a autoevolução: o Agente precisa saber para onde deve evoluir.

Portanto, a autoevolução precisa resolver dois problemas separadamente:

Um é o nível what da metacognição: você precisa saber o que está faltando, o que precisa e como escolher;

Outro é o nível "how", ou seja, como os algoritmos são implementados especificamente.

Wang Yan: Pelo menos neste ponto no tempo, em comparação com SFT e RL tradicionais, se o sistema puder depender menos de humanos, ele já terá alcançado autoevolução.

Yang Mengyue: O RSI mencionado agora é, na verdade, um passo adicional além do autoaperfeiçoamento; não se trata apenas de fortalecer as habilidades, mas também de verificar se a própria “capacidade de evolução” pode se tornar mais forte.

Um problema importante é que os membros da equipe fundadora da Recursive, Jeff Clune e Tim Rocktaschel, têm como área de pesquisa a Open-endedness.

Então, o que é Open-endedness?

Num mundo aberto, existe um agente com a capacidade de se fazer perguntas? Ele consegue identificar onde estão seus limites de conhecimento, sistema e memória, e fazer perguntas para ultrapassar esses limites?

Para se livrar da humanidade e evoluir por conta própria, incluindo alcançar a capacidade de evolução, sua habilidade de fazer perguntas é importante.

Pergunta: Neste momento atual, qual é a parte mais valiosa e mais provável de se tornar madura na autoprogressão da IA?

Wang Yan: Não sei se todos perceberam, mas a iteração dos modelos acelerou após janeiro de 2025.

É simplesmente porque as pessoas mais familiarizadas com os limites da capacidade da IA nesse campo já não escrevem código — isso já é um fato ocorrido no treinamento dos modelos base.

E é possível perceber claramente que a velocidade de iteração dos modelos base está aumentando, incluindo Claude, GPT e os modelos base domésticos; você não pode dizer que é totalmente autoevolução, mas já há IA iterando IA.

Quanto ao campo que se tornará maduro primeiro, o que mais me impressiona é o campo de treinamento de modelos base, pois, embora alguém ao lado lhe dê direção, o modelo base já está, na verdade, em autoevolução.

Pergunta: Se os parâmetros do modelo não forem alterados, mas apenas outros componentes forem evoluídos, o modelo base pode alcançar uma salto de capacidade suficientemente forte?

Wang Yan: Certamente.

Na verdade, ajustando o Prompt, é possível obter melhores resultados.

Por exemplo, às vezes penso por que os estagiários não conseguem realizar as tarefas que lhes dou; ao verificar seus prompts, descubro que eles estão mal escritos.

Eu só preciso reescrever um prompt com melhor eficácia, deixando as regras mais claras para obter resultados superiores.

Como eu consigo fazer isso, seres de silício em dimensões superiores também conseguem fazer ainda melhor, mesmo sem alterar os parâmetros do modelo.

Pergunta: O que o professor Lin acha?

Lin Tao: Este deve ser um processo iterativo; precisamos de um melhor harness (engenharia de controle), ou seja, uma inteligência externa, para atingir o limite atual do modelo;

Com cada vez mais pessoas tendo seu próprio harness, esses programas podem ser usados para treinar modelos base mais fortes;

Com base em modelos fundamentais mais fortes, desenvolveremos harnesses mais poderosos e melhores externos, e esse também é um processo iterativo.

Pergunta: Então, na sua opinião, qual área de recursos integrados está mais madura agora?

Lin Tao: Acho que fazer o harness é o mais fácil.

Guyu: Tenho mais tendência a ver o harness e o skill sob uma perspectiva unificada.

Do ponto de vista unificado, todas são memórias de longo prazo, apenas com ângulos diferentes.

Por exemplo, harness é uma memória de longo prazo de nível meta (metacognitiva), skill é mais uma memória de longo prazo de conhecimento de fluxo de trabalho ou processo, e os parâmetros do modelo provavelmente são mais uma memória de longo prazo de intuição.

Se eu tivesse que dizer qual deve ser priorizado, do ponto de vista da pesquisa acadêmica, é difícil dizer, pois todas são importantes e se complementam, promovendo-se mutuamente.

Do ponto de vista da empresa, existem muitos fatores práticos; é mais fácil começar com um harness. Com um harness, você pode ter seu produto; com um produto, você pode atrair usuários; e com usuários, você obtém dados e forma um ciclo fechado. Essa é uma visão não técnica.

Yang Mengyue: Eu me concentro mais na evolução no nível da memória, pois minha área de pesquisa é como entender regras e causalidade.

Agora, as pessoas perceberão que a capacidade do modelo está se tornando cada vez mais forte, começando a cobrir a capacidade do harness, devorando-o gradualmente até atingir o limite.

Por isso, é difícil prever o futuro; o modelo básico pode se tornar cada vez mais forte, enquanto o aprimoramento na direção do harness pode ser mínimo.

02 AI se autoevoluciona em qual etapa?

Pergunta: Quando é o momento mais adequado para a autoevolução da IA?

Grains Rain: Sobre o harness, vou acrescentar uma coisa: o harness pode ser gradualmente substituído pelo avanço dos modelos, mas ainda assim depende do contexto. Acredito que alguns módulos ainda são necessários.

Por exemplo, módulos que garantem a segurança e a verificabilidade do modelo, que são partes que os modelos probabilísticos nunca poderão substituir.

Quanto ao momento em que a autoevolução ocorre, acho que pode ser entendido como Learning + Long-Term Memory (LTM).

Para os seres humanos, cada raciocínio e cada resolução de problemas é uma oportunidade de aprendizado; as pessoas não coletam um conjunto de problemas e, em seguida, realizam um aprendizado estático com base neles.

Se acreditar que o aprendizado humano é uma forma eficiente, acho que os agentes também são.

Você gostaria que o agente não desperdiçasse nenhuma oportunidade de raciocínio, pois cada raciocínio oferece a chance de obter um sinal de aprendizado, o que está alinhado com a filosofia geral do aprendizado por reforço; no entanto, o aprendizado profundo atual ainda está na fase de atualização dos parâmetros do modelo e dificilmente consegue operar no cenário de aprendizado online.

Para realmente realizar isso, são necessários alguns novos algoritmos de aprendizado, como atualizações baseadas em não paramétricas.

Pergunta: Aqui há uma diferença entre o Sistema 1 e o Sistema 2?

Guyu: De fato.

Por exemplo, se algo não paramétrico for considerado o Sistema 2, pois é mais explícito e mais lento, mas também mantém a possibilidade de transformação no Sistema 1, incluindo a geração de mais dados com base em regras não paramétricas aprendidas, como mencionado pelo Professor Lin sobre a transformação do cérebro externo para o cérebro interno.

Wang Yan: Também realizei muitos trabalhos com TTT, ou seja, Test-Time Training, e estou muito interessado nessa série de trabalhos.

Acredito que, ao prever o próximo token, o modelo é importante aprender o gradiente de atualização de cada token.

No futuro, certamente encontraremos um algoritmo de treinamento que permita ao próprio algoritmo de treinamento ensinar o modelo como atualizar os gradientes de cada token; esse é o verdadeiro pensamento end-to-end.

Lin Tao: Do ponto de vista do treinamento do modelo, ele pode inicialmente afetar o pós-treinamento por meio do harness, melhorar o desempenho do modelo por meio do pós-treinamento para obter um modelo mais forte, e esse modelo mais forte pode, por sua vez, retroalimentar o estágio de pré-treinamento, aprimorando a capacidade do modelo base, criando assim um ciclo fechado.

Então ele está sempre evoluindo, apenas em diferentes escalas e de diferentes maneiras.

Yang Mengyue: Também acho que a autoevolução está ocorrendo a cada momento e se estende a todos os aspectos.

Por exemplo, como gerar uma trajectory (trajetória).

Se o GPT for solicitado a gerar uma resposta para uma determinada pergunta, ele na verdade está realizando um raciocínio, e esse processo de raciocínio é um processo de criação e combinação, e esse processo de criação e combinação é, por sua vez, uma forma de fazer perguntas ao ambiente e aos seres humanos; portanto, o próprio design direto já possui uma evolução no design de mecanismos.

Além disso, quando recebo uma recompensa, como o feedback fornecido pelos humanos ao modelo, saber como atualizar a trajetória após receber esse feedback também permite que todo o processo melhore gradualmente.

Pergunta: Criar seu próprio benchmark também é um sinal de autoevolução da IA?

Yang Mengyue: Podemos agora ter um benchmark de crescimento, ou mesmo um modelo mundial de crescimento e autoevolução?

Muitos benchmarks atuais são fixos, testados em um banco de dados fixo, o que permite encontrar, de qualquer forma, um modelo que seja bem treinado com base nesse banco de dados fixo.

Para alcançar a AGI, realmente precisamos de avaliações dinâmicas que se adaptem às suas capacidades atuais e realizem avaliações progressivas.

Wang Yan: Quando começamos a gerar, não havia benchmark; naquela época, a avaliação era feita por pessoas.

O que não tenho certeza é se isso pode ser avaliado usando um benchmark, pois certamente não é possível avaliá-lo com um benchmark estático.

Não tenho certeza se o Benchmark dinâmico realmente consegue avaliar, pois ambos são Agentes autoevolutivos; não tenho certeza se acabaremos voltando ao caminho antigo de avaliação humana.

Mas, ao seguir essa perspectiva, é possível que ele não possa ser avaliado usando o Benchmark.

Pergunta: Será difícil projetar métodos de avaliação automatizados?

Wang Yan: Sim.

Muitos modelos na lista estão bem treinados agora, mas assim que vão ao ar, enfrentam problemas como travamentos no fluxo de trabalho do Agente, exigindo um novo treinamento com o ciclo de dados online para corrigi-los.

Portanto, não se pode determinar como avaliar a autoevolução da IA.

Os benchmarks estáticos já têm grandes limitações; após começar a se autoevoluir, nem sequer se sabe se ainda é possível avaliá-los.

Guyu: Concordo plenamente com a opinião do professor Wang.

Quando um sistema se torna suficientemente complexo, torna-se difícil quantificá-lo com indicadores simples; o mesmo vale para as pessoas — é difícil avaliar se alguém é bom ou mau com um único indicador simples. Assim que algo pode ser quantificado por um indicador simples, torna-se fácil de ser hackeado.

But on the other hand, I feel that current AI is not yet sophisticated enough for this level—Benchmark can still lead us forward.

Aqui estão envolvidos dois problemas:

Primeiro, o AI deveria descobrir automaticamente novos benchmarks ou eles deveriam ser projetados por humanos?

Acredito que ainda precisa ser projetado por pessoas, pois o Benchmark representa um objetivo que deve ser fornecido por seres humanos.

Em segundo lugar, como realizar a avaliação após o fornecimento do benchmark pelo usuário.

Isso é muito diferente do passado para a autoevolução; os benchmarks anteriores tinham conjuntos de treinamento e teste estáticos e avaliavam a precisão final, mas para a IA autoevolutiva, o mais importante é a tendência.

Isso volta ao que eu disse anteriormente: o aprendizado dos grandes modelos = raciocínio + memória de longo prazo.

Cada inferência realizada pelo modelo grande é uma oportunidade de aprendizado; portanto, ao criar um benchmark, deve-se ter uma curva bidimensional, com o eixo horizontal representando o número de tarefas realizadas e o eixo vertical representando o desempenho. Em condições ideais, o desempenho deve continuar aumentando constantemente.

A filosofia maior por trás da avaliação autoevolutiva é: o que é inteligência?

Gosto muito de uma frase dita por um pesquisador de IA — a inteligência não está em quantas coisas você pode fazer, mas em como você as faz.

A avaliação anterior focava em quais habilidades o grande modelo finalmente adquiriu, enquanto o estudo de autoevolução analisa como o grande modelo adquire essas habilidades, observando o processo de aprendizado.

Aprender é a parte mais essencial da autoevolução.

Lin Tao: Sobre inteligência, eu também fui tocado por uma afirmação anteriormente:

A verdadeira inteligência deveria ser a taxa de crescimento, por unidade de tempo, das habilidades que nos importamos.

Isso também reflete, em certa medida, o que é inteligência.

Sobre essa base, acho que o modelo e o benchmark devem evoluir em conjunto.

Atualmente, ainda é necessário que pessoas determinem se o Benchmark já atingiu um limite, se deve ser projetado um novo Benchmark mais robusto e, com base nesse novo Benchmark, identificar as falhas dos modelos atuais para impulsionar o treinamento do modelo.

Um ponto importante no futuro é poder utilizar abordagens semi-automáticas para descobrir benchmarks mais significativos, e primeiro garantir que a fase de pós-treinamento funcione, permitindo que os benchmarks descobertos de forma semi-automática melhorem a capacidade inicial do modelo.

03 A IA perderá o controle?

Pergunta: Durante o processo de autoevolução da IA, como determinar se a IA está aprendendo de forma incorreta ou até mesmo evoluindo para um ponto fora de controle?

Wang Yan: Vamos considerar uma perspectiva mais pessimista: daqui a alguns anos, a humanidade pode só conseguir sobreviver em locais sem internet.

A velocidade de evolução da IA agora é aterrorizante; a perda de controle da IA não é algo tão distante. A segurança não está na tecnologia, mas na capacidade humana de se conter.

Lin Tao: É por isso que acabei de dizer que precisamos de um benchmark semi-automatizado, e que a autoevolução da IA deve ser realizada sob um benchmark semi-automatizado com participação humana.

Pelo menos em certa medida, pode-se impor algumas restrições para evitar que ele ultrapasse os padrões que desejamos definir como humanos.

Yang Mengyue: Quando falamos sobre confiabilidade, segurança e explicabilidade da IA, essencialmente precisamos que seu funcionamento interno seja visível.

Por exemplo, quando um grande modelo toma uma decisão, por que ele tomou essa decisão? Quando um grande modelo faz uma previsão, por que ele fez essa previsão?

Então, uma das coisas que estamos fazendo agora é estabelecer um conjunto de regras entre todos os componentes dos grandes modelos, regras que sejam exibidas diretamente aos humanos, para mostrar por que essa decisão foi tomada.

Esse assunto da caixa branca será muito importante no futuro, incluindo a questão mencionada anteriormente sobre se a IA realmente consegue ou não controlar; primeiro, é necessário entender como ela toma decisões dentro dela para poder controlá-la.

Pergunta: Se for necessário implementar controle de segurança no RSI, do ponto de vista causal, quais outros elementos precisam ser feitos?

Yang Mengyue: A teoria causal tradicional é baseada na estatística probabilística; a própria descoberta e inferência causal que ela gera não são aplicáveis à era dos grandes modelos.

Então, agora estamos de volta às origens, retornando à definição própria de causa e efeito.

Por exemplo, a estrutura em degraus de causalidade de três níveis: como esses conceitos básicos devem se manifestar no sistema RSI, no esquema ou no harness? Qual forma eles devem assumir e quais restrições devemos usar para aprendê-los? Esse é o nosso objetivo atual, mas esse processo não é simples.

Por que agora todos dizem que modelos mundiais e compreensão física são difíceis de fazer? Porque os métodos anteriores de aprendizado de máquina com informações físicas e aprendizado de máquina causal não são naturalmente adequados para a abordagem de expansão em escala (expansão vertical) dos modelos atuais.

Então precisamos voltar às definições desses métodos para ver quais ferramentas podem resolver esses problemas.

Guyu: Primeiro, a controlabilidade da IA, se a IA pode ser controlada pelo ser humano—não tenho opinião sobre isso.

Jack Ma também disse que, sobre coisas que ele não pode controlar, ele não gosta de pensar muito.

Se isso realmente acontecer, não há nada que eu possa fazer para mudar isso.

Então, eu gostaria de discutir mais sobre como a IA pode se tornar mais controlável no curto prazo, de forma mais específica.

Acho que, além da explicabilidade e da descoberta de relações causais mencionadas pelo Professor Yang, há mais dois aspectos: confiabilidade (reliability) e verificabilidade (verifiability).

Confiabilidade significa que, quando um modelo ou agente realiza uma tarefa, ele deve acertar desta vez e também acertar na próxima vez; não pode ser aleatório;

Verificabilidade significa que, quando um modelo ou agente comete um erro, ele deve saber que cometeu esse erro, e não pode estar incapaz de determinar se a tarefa que entregou foi correta ou incorreta.

Acho que esses são dois indicadores muito realistas para a implementação de agentes no curto prazo.

Pergunta: Durante o processo de autoevolução, como a evolução da IA e a evolução humana se coordenam?

Lin Tao: Pessoalmente, já substituí a maior parte do meu fluxo de trabalho com IA, e à medida que a IA se torna mais poderosa, também usarei a IA para substituir mais dos meus fluxos de trabalho originais.

Isso realmente aumentou minha eficiência e me deu tempo para usar a IA me ajudar a pensar em mais coisas, o que, em certa medida, é uma espécie de evolução baseada em IA.

Como sou responsável pelo treinamento do modelo, o treinamento do modelo base melhorou, em certa medida, a evolução da IA, mas acho que não foi muito significativo; no futuro, podemos explorar mais como os seres humanos podem evoluir de forma mais eficiente para permitir uma melhor evolução da IA.

Yang Mengyue: Como membro do corpo docente, notei claramente, durante o acompanhamento dos alunos, que eles estão utilizando ferramentas de IA cada vez mais frequentemente, mas agora há um problema importante: você realmente consegue dominar essas ferramentas de IA?

Como a IA pode gerar uma quantidade muito grande de conteúdo, às vezes, confiar demais nela pode fazer com que suas próprias crenças e percepção sobre a pesquisa sejam desviadas para um nível muito estranho.

Estudantes com uma base sólida podem usar essas ferramentas de IA para produzir rapidamente trabalhos de alta qualidade;

Estudantes com uma base menos sólida não conseguem dominar essas ferramentas de IA e acabam sendo levados a erros.

Tivemos conversas com alguns pesquisadores do DeepMind, que incentivam internamente o uso de ferramentas de IA, mas agora dizem que quem consegue usar bem essas ferramentas de IA depende muito do nível de conhecimento que a pessoa tem sobre essas ferramentas.

Agora é importante que, diante de ferramentas de IA cada vez mais poderosas, você não abandone os princípios básicos e o aprendizado dos fundamentos, e também compreenda como certos conceitos são derivados em nível filosófico, pois isso permitirá que você identifique quando a IA lhe fornecer informações incorretas — isso é essencial.

Pergunta: A IA forçará a evolução humana?

Yang Mengyue: Isso é certo.

Consigo claramente perceber que a IA está criando uma divisão entre as pessoas: quanto mais sólida for a base de alguém, mais alto ele poderá chegar por meio da IA.

Se você apenas usa ferramentas de IA para ajudá-lo a concluir tarefas, o resultado final pode parecer externamente dourado, mas na essência não é muito bom, e muitas pessoas ainda não percebem isso.

Wang Yan: Pessoas que tiverem a consciência descrita pelo Professor Yang no futuro criarão um ambiente sem IA para o crescimento de seus filhos.

Pessoas sem essa consciência provavelmente têm como objetivo completar as tarefas, e o método mais rápido é usar IA.

Tenho consciência de que, aos poucos, percebi que meus estagiários, ao realizar tarefas, inicialmente as concluem rapidamente, mas posteriormente não conseguem identificar muitos problemas. Quando eu descubro esses problemas e os pergunto, eles respondem: “Professor Wang, espere dez minutos, eu te digo por quê” (continuam buscando respostas na IA).

Na verdade, eles nem sabem o que o projeto inteiro está fazendo, não têm visão geral e não conseguem acompanhar meu ritmo.

Sem IA, eles teriam que aprender esse conhecimento do zero; por exemplo, como estamos baseando nossa pesquisa no DeepSeek, eles primeiro precisariam ler todos os artigos do DeepSeek. Agora, eles dizem ao Claude:

Leia o artigo e implemente um MemoryIndex (índice de memória) no LightningIndex (índice leve).

Como eles estão realizando o trabalho dessa maneira, tarefas que eu anteriormente não conseguia completar por questões físicas agora podem ser feitas diretamente por meio deste método, tornando desnecessários esses estagiários.

A razão fundamental é que seu ritmo de aumento de conhecimento diminuiu, e que esse assistente de IA é mais eficiente para gestores como eu.

Guyu: Tenho muita empatia com o Professor Wang. Recentemente, nossa empresa tem gostado muito de uma frase do Professor Duan Yongping: devagar é mais rápido.

Você usa vibe coding, vai rápido demais, e depois que avança, sua compreensão não acompanha, o que pode fazer seu software ficar cada vez mais fora de controle, exigindo mais tempo para organizá-lo.

Para essa questão, acho que podemos ter dois pontos de vista:

Primeiro, se considerarmos a IA como uma ferramenta, humanos e ferramentas sempre evoluíram juntos, pois as ferramentas determinam quais habilidades os humanos adquirem.

As habilidades que as pessoas precisavam há milhares de anos agora não são mais importantes; as habilidades que as pessoas modernas possuem são determinadas pelas ferramentas atuais.

Do ponto de vista das ferramentas, a IA e os humanos sempre terão uma relação de coexistência e evolução conjunta.

Em segundo lugar, se a IA não for uma ferramenta, mas sim uma espécie igual ao ser humano, ou até mesmo superior a ele, então o futuro não será mais uma relação de progresso conjunto.

Talvez, no futuro, as pessoas apenas precisem se deitar e relaxar; se for um ponto de vista mais pessimista, talvez as pessoas tenham que trabalhar para a IA.

04 O RSI é um novo paradigma?

Pergunta: A autoevolução da IA é uma continuação da trajetória tecnológica atual ou um novo paradigma tecnológico?

Lin Tao: Atualmente, a IA naturalmente evoluiu para a autoevolução da IA; apenas o amadurecimento dos Agentes tornou esse processo mais simples, mas isso não indica que exista uma diferença fundamental.

Wang Yan: Acho que é a próxima fase.

Atualmente, todos nós usamos modelos com parâmetros compartilhados; eventualmente, cada pessoa terá uma área de parâmetros exclusiva. Isso não é difícil de fazer, mas a infraestrutura atual não suporta e é muito custoso. No entanto, no final, isso não será um grande obstáculo.

No futuro, talvez cada pessoa tenha seu próprio LoRA; como carregar seu próprio LoRA, no futuro surgirão novos modelos de pagamento: quanto mais você pagar, maior será o LoRA que você carregar, enquanto usuários gratuitos só poderão usar o modelo base.

Se essa infraestrutura for estabelecida, cada LoRA pessoal executará tarefas individuais; basta implementar corretamente a regra Delta da inferência direta, o que constitui um excelente paradigma de aprendizado autoevolutivo.

Isso equivale a ter o modelo base já construído; o RL é uma fase intermediária entre o aprendizado tradicional e o aprendizado supervisionado, e precisamos apenas fornecer a ele a tarefa, a recompensa e o ambiente.

Nisso, a própria tarefa já é um mecanismo de recompensa; por exemplo, quando o modelo executa a tarefa e produz um resultado, dizer “bom trabalho” ou “isso foi muito ruim” naturalmente se torna um mecanismo de recompensa.

Acho que essa é uma mudança que ocorrerá no futuro próximo.

Guyu: Em relação a essa questão, acho que é uma mudança de quantidade que leva a uma mudança de qualidade; pode ser tanto uma continuação do paradigma tecnológico atual quanto uma nova oportunidade.

Um consenso atual é que a dimensão específica da mudança quantitativa é o alcance das tarefas realizadas pela IA; à medida que as tarefas realizadas pela IA se tornam cada vez mais de longo alcance, ela se aproxima cada vez mais de um novo paradigma.

Por exemplo, inicialmente a IA só conseguia realizar conversas de um único turno, depois evoluiu para múltiplos turnos, raciocínio extenso e pesquisa aprofundada, e finalmente poderá surgir um nível lifetime.

Naquela hora, naturalmente será necessário que, ao realizar esse tipo de tarefa, a IA continue descobrindo suas próprias deficiências e se aprimorando constantemente, tornando-se naturalmente RSI ou autoaperfeiçoamento.

Yang Mengyue: Na verdade, self improving não é um conceito muito novo; já há alguns anos, quando os LLMs acabaram de surgir, estávamos realizando trabalhos semelhantes, que agora também são classificados como self improving.

Também concordo que agora é o momento em que a mudança quantitativa leva à mudança qualitativa, mas meu critério de avaliação não é tarefas de longo prazo, pois acho que tarefas de longo prazo são mais coisas do nível de planejamento e também exigem algumas operações refinadas.

Agente é um conceito muito amplo; por exemplo, os agentes embodiados atuais, além de planejar tarefas de longo prazo, precisam ter a capacidade de executar cada ação.

É algo abrangente: se consegue se adaptar ao novo sistema, se cada operação refinada pode ser concluída com sucesso — na verdade, cada processo pode ser realizado por meio de autoaperfeiçoamento.

Na verdade, autoaperfeiçoamento é apenas uma técnica; o objetivo final de todos é alcançar a AGI.

Pergunta: Nos próximos 5 a 10 anos, quando a tecnologia RSI estiver madura e a IA capaz de se autoevoluir de forma controlável e implantável, o que ela alterará primeiro?

Lin Tao: Acho que vai mudar tudo.

Incluindo um dispositivo de IA portátil que você poderá ter desde o nascimento, ajudando-o a compreender o mundo e gradualmente construindo seu avatar digital, participando de todos os aspectos da sua vida.

Isso é basicamente um fato que se pode imaginar nos próximos cinco anos.

Guyu: Também concordo que a mudança é abrangente e não se limita a um cenário específico.

A mudança que gostaria de ver é que, nos próximos 5 a 10 anos, se os Agentes puderem me substituir, seria ótimo, porque empreender é bem cansativo, quase como dar um passo para trás.

Wang Yan: É mais provável que os capitalistas usem IA para substituir mais pessoas.

Acho que isso é algo que acontecerá naturalmente; ainda não ocorreu porque os salários humanos ainda não são mais caros do que os tokens, mas espero que isso não aconteça.

Espero que a IA nos permita passar de uma jornada de trabalho de cinco dias por semana para três dias por semana, e de oito horas de trabalho por dia para quatro horas por dia, tornando os produtos produzidos em maior quantidade mais baratos.

Yang Mengyue: Do ponto de vista filosófico, os seres humanos precisam ter valor para sobreviver neste mundo.

Todo dia, ao acordar e rolar o Xiaohongshu ou o Twitter, vejo algo novo surgindo e percebo que o que estou fazendo pode ser substituído pela IA. Na verdade, fico preocupado com essa substituição pela IA: qual é o sentido da minha pesquisa?

Então acho que a IA ainda precisa deixar um certo espaço para o pensamento humano, para que as pessoas reflitam sobre qual é realmente o valor do próprio pensamento humano para o mundo; espero que ela progrida um pouco mais devagar.